- 预构建仪表板：为每个追踪项目自动生成。
- 自定义仪表板：完全可配置的图表集合，可根据您的需求量身定制。
预构建仪表板
预构建仪表板为每个项目自动创建，并涵盖关键指标，如追踪数量、错误率、令牌使用量等。默认情况下，您可以通过追踪项目页面右上角的 仪表板 按钮访问您的追踪项目的预构建仪表板。
您无法修改预构建仪表板。未来，我们计划允许您克隆默认仪表板，以便以此为起点进行自定义。
仪表板部分
预构建仪表板分为以下几个部分：| 部分 | 显示内容 |
|---|---|
| 追踪 | 追踪数量、延迟和错误率。追踪是与单个操作相关的一组运行。例如，如果用户请求触发了一个代理，则该代理调用的所有运行都将属于同一追踪。 |
| LLM 调用 | LLM 调用次数和延迟。包括所有运行类型为 “llm” 的运行。 |
| 成本与令牌 | 按令牌类型细分的总令牌数和每追踪令牌数及成本。成本使用 LangSmith 的成本跟踪进行衡量。 |
| 工具 | 按工具名称细分的工具运行次数、错误率和延迟统计。包括运行类型为 “tool” 的运行。限制为出现频率最高的前 5 个工具。 |
| 运行类型 | 根运行的直接子运行的运行次数、错误率和延迟统计。这有助于理解代理的高层执行路径。限制为出现频率最高的前 5 个运行名称。请参考此表后的图片。 |
| 反馈分数 | 出现频率最高的前 5 种反馈类型的汇总统计。图表显示数值反馈的平均分和分类反馈的类别计数。 |
分组依据
可以使用运行标签或元数据进行分组，以按对您应用程序重要的属性拆分数据。全局分组设置位于仪表板的右上角。请注意，工具和运行类型图表已应用了分组，因此全局分组不会生效；全局分组将应用于所有其他图表。向运行添加元数据时，我们建议在追踪和特定运行（例如 LLM 调用）上都使用相同的元数据。元数据和标签不会从父运行传播到子运行，反之亦然。如果您希望同时查看按元数据键分组的追踪图表和 LLM 调用图表，则追踪（根运行）和 LLM 运行都需要附加该元数据。
自定义仪表板
创建量身定制的图表集合，以跟踪对您的应用程序最重要的指标。创建新仪表板
- 导航到左侧边栏的 监控 选项卡。
- 点击 + 新建仪表板 按钮。
- 为您的仪表板命名并添加描述。
- 点击 创建。
向仪表板添加图表
- 在仪表板内，点击 + 新建图表 按钮以打开图表创建窗格。
- 为您的图表命名并添加描述。
- 配置图表。
图表配置
选择追踪项目和筛选运行
- 选择一个或多个追踪项目以跟踪其指标。
- 使用 图表筛选器 部分来细化匹配的运行。此筛选器适用于图表中的所有数据系列。有关筛选追踪的更多信息，请查看我们的在应用程序中筛选追踪指南。
选择指标
- 从下拉菜单中选择一个指标以设置图表的 y 轴。选择项目和指标后，您将看到图表的预览和匹配的运行。
- 对于某些指标（如延迟、令牌使用量、成本），我们支持比较具有相同单位的多个指标。例如，您可能希望在一个图表中同时查看提示令牌和补全令牌。每个指标显示为一条单独的线。
拆分数据
有两种方法可以在图表中创建多个系列（即在图表中创建多条线）：- 分组依据：按运行标签或元数据、运行名称或运行类型对运行进行分组。分组依据会根据所选字段自动将数据拆分为多个系列。请注意，分组依据限制为频率最高的前 5 个元素。
- 数据系列：使用单独的筛选器手动定义多个系列。这对于比较单个指标内的细粒度数据很有用。
选择图表类型
- 在折线图和条形图之间选择以进行可视化
保存和管理图表
- 点击
保存将图表保存到仪表板。 - 通过点击图表右上角的三点按钮来编辑或删除图表。
- 通过点击图表右上角的三线按钮并选择 + 克隆 来克隆图表。这将打开一个新的图表创建窗格，其中包含与原始图表相同的配置。
从追踪项目链接到仪表板
您可以直接从任何追踪项目链接到任何仪表板。默认情况下，会选中您追踪项目的预构建仪表板。如果您想链接自定义仪表板：- 在您的追踪项目中，点击 仪表板 按钮旁边的三个点。
- 选择一个仪表板作为新的默认设置。
示例：用户旅程监控
使用监控图表来映射代理在特定节点做出的决策。 考虑一个电子邮件助手代理。在特定节点，它会对一封电子邮件做出决策：- 回复电子邮件
- 通知用户
- 无需回复
-
指标选择：选择指标
运行次数。 -
图表筛选器：添加一个树形筛选器以包含所有名称为
triage_input的追踪。这意味着我们只包含命中triage_input节点的追踪。同时添加一个图表筛选器，使Is Root为true，这样我们的计数就不会因追踪中的节点数量而膨胀。
-
数据系列：为在
triage_input节点做出的每个决策创建一个数据系列。决策的输出存储在输出对象的triage.response字段中，决策的值为no、email或notify。这些决策中的每一个都会在图表中生成一个单独的数据系列。
triage_input 节点随时间做出的决策。
视频指南
连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。