Skip to main content
虽然您可以手动筛选和处理来自 LLM 应用程序的生产日志，但随着应用程序扩展到更多用户，这往往会变得困难。LangSmith 提供了自动化功能，允许您对跟踪数据触发某些操作。您可以通过过滤器、采样率和操作来定义自动化规则。 自动化规则可以触发的操作包括：将跟踪添加到数据集、添加到标注队列、触发 webhook（例如，用于远程评估）或延长数据保留期限。您可以设置的一些自动化示例：
  • 将所有带有负面反馈的跟踪发送到标注队列进行人工审查。
  • 将所有跟踪的 10% 发送到标注队列进行人工审查，以抽查问题。
  • 升级所有包含错误的跟踪以延长数据保留期限。
要配置在线评估，请访问在线评估页面。
如果自动化规则匹配跟踪中的任何运行，该跟踪将自动升级为延长数据保留。此升级会影响跟踪定价，但可确保符合自动化标准（通常是对分析最有价值的）的跟踪被保留以供调查。

​
自动化规则如何执行

每个自动化规则都在独立的轮询计划上运行。如果您在同一项目上有多个规则，webhook 规则可能在评估器规则对其进行评分之前处理运行，反之亦然。 在单个规则中，如果配置了多个操作，它们将按以下顺序执行：
  1. 添加到标注队列。
  2. 添加到数据集。
  3. 触发 webhook。
  4. 运行在线评估器。
  5. 运行自定义代码评估器。
  6. 触发警报。
如果您的工作流程要求在另一个规则触发时存在由一个规则生成的数据——例如，您希望 webhook 包含评估分数——请在下游规则上使用过滤器来显式创建该依赖关系。有关示例，请参阅确保评估在 webhook 触发前完成。

​
查看自动化规则

在 UI 中，导航到侧边栏中的跟踪并选择一个跟踪项目。要查看该跟踪项目的现有自动化规则，请单击自动化选项卡。

​
创建规则

  1. 在 UI 中，导航到侧边栏中的跟踪并选择一个跟踪项目。单击跟踪项目页面右上角的 + 新建，然后单击新建自动化。
  2. 为您的规则命名。
  3. 创建过滤器。自动化规则过滤器的工作方式与应用于项目中跟踪的过滤器相同。有关过滤器的更多信息，您可以参考过滤跟踪。
  4. 配置采样率以控制触发自动化操作的过滤运行百分比。您可以为自动化指定 0 到 1 之间的采样率。这将控制发送到自动化操作的过滤运行的百分比。例如，如果您将采样率设置为 0.5，则通过过滤器的跟踪中有 50% 将被发送到操作。
  5. （可选）通过切换应用于过去的运行并输入回填起始日期将规则应用于过去的运行。这仅在创建规则时可能。
    回填作为后台作业处理，因此您不会立即看到结果。要跟踪回填进度，您可以查看自动化日志。
  6. 选择在应用规则时触发的操作。自动化规则有四种可执行的操作：
    • 添加到数据集：将跟踪的输入和输出添加到数据集。
    • 添加到标注队列：将跟踪添加到标注队列。
    • 触发 webhook：使用跟踪数据触发 webhook。
    • 延长数据保留期限：延长使用基础保留期限的匹配跟踪的数据保留期限（有关更多详细信息，请参阅数据保留文档）。 请注意，所有其他规则也将通过数据保留文档中描述的自动升级机制延长匹配跟踪的数据保留期限，但此规则不执行其他操作。

​
查看自动化日志

日志让您确信规则按预期工作。您可以通过导航到跟踪项目中的自动化选项卡并单击所创建规则的日志按钮来查看自动化的日志。 日志选项卡允许您：
  • 查看在选定时间段内由给定规则处理的所有运行。
  • 如果特定规则执行触发了错误，您可以通过将鼠标悬停在错误图标上来查看错误消息。
  • 您可以通过过滤到规则的创建时间戳来监控回填作业的进度。这是因为回填从规则创建时开始。
  • 使用查看运行按钮检查自动化规则应用的运行。对于将运行作为示例添加到数据集的规则，您可以查看生成的示例。
将这些文档连接到 Claude、VSCode 等，通过 MCP 获取实时答案。
在 GitHub 上编辑此页面或提交问题。