使用 Insights Agent 发现错误与使用模式

​

前提条件

• 已在您的工作区中为 Insights 设置好模型配置。
• 拥有在 LangSmith 中创建规则的权限（生成新的 Insights 报告所需）。
• 拥有查看 LangSmith 追踪项目的权限（查看现有 Insights 报告所需）。

​

生成您的第一份 Insights 报告

import os
from langsmith import Client

client = Client()

chat_histories = [
    [
        {"role": "user", "content": "how are you"},
        {"role": "assistant", "content": "good!"},
    ],
    [
        {"role": "user", "content": "do you like art"},
        {"role": "assistant", "content": "only Tarkovsky"},
    ],
]

report = client.generate_insights(
    chat_histories=chat_histories,
    name="Customer Support Topics - March 2024",
    instructions="What are the main topics and questions users are asking about?",
    openai_api_key=os.environ["OPENAI_API_KEY"],  # optional if already set as workspace secret
)

# client.poll_insights(report=report)

​

理解结果

​

执行摘要

• 关键发现及其百分比，显示每个模式出现的频率。
• 可点击的引用（例如 #1、#2、#3），指向代理识别为与您的问题特别相关的追踪。

​

顶级类别

• 典型的追踪统计信息（如错误率、延迟、成本）
• 来自评估者的反馈分数
• 作为任务一部分提取的属性

​

子类别

​

单个追踪

​

配置任务

​

自动生成配置

1. 打开 New Insights（新建洞察），并确保 Auto（自动）开关处于激活状态。
2. 回答关于代理目的、您想了解的内容以及追踪结构的自然语言问题。Insights 会将您的答案转换为配置草稿（任务名称、摘要提示、属性和采样默认值）。
3. 选择一个提供商，然后点击 Generate config（生成配置）进行预览，或点击 Run job（运行任务）立即启动。

​

选择模型

• 思考模型：执行聚类步骤（能力更强，成本更高）。
• 摘要模型：生成每个追踪的摘要（速度更快，成本更低）。

​

手动配置

​

选择追踪

• 样本大小：要分析的最大追踪数量。目前上限为 1,000
• 时间范围：从该时间范围采样追踪
• 过滤器：额外的追踪过滤器。当您调整过滤器时，您将看到有多少追踪符合您的条件

​

类别

​

摘要提示

• 摘要说明：任何不在追踪摘要中的信息都不会影响生成的类别，因此请确保提供清晰的说明，说明应从每个追踪中提取哪些重要信息。
• 追踪内容：使用 mustache 格式指定每个追踪的哪些部分传递给摘要生成器。包含大量输入和输出的大型追踪可能成本高昂且嘈杂。将提示缩减为仅包含追踪中最相关的部分可以改善结果。

​

属性

​

过滤属性

• 在为 Insights Agent 创建配置时，为任何布尔属性添加 "filter_by": true。
• LLM 在摘要生成期间根据属性描述评估每个追踪。
• 在生成洞察之前，排除属性为 false 或缺失的追踪。

​

计划 Insights 报告

• Daily（每天）：每天在 UTC 8:00 运行。
• Weekly on Monday（每周一）：每周一在 UTC 8:00 运行。
• Custom（自定义）：输入您自己的 cron 表达式（UTC 时间）。

​

保存您的配置