LangSmith 允许您在应用程序内手动为跟踪添加反馈标注。这对于为跟踪添加上下文信息非常有用,例如用户的评论或关于特定问题的备注。
您可以通过内联方式标注跟踪,也可以将跟踪发送到标注队列,以便逐一仔细检查并记录运行的反馈。
反馈标签与您的工作区相关联。
您可以将用户反馈附加到跟踪的任何中间运行(跨度),而不仅仅是根跨度。这对于批评 LLM 应用程序的特定部分非常有用,例如 RAG 管道的检索步骤或生成步骤。
要内联标注跟踪,请点击跟踪视图中任何特定运行右上角的 Annotate。
这将打开一个面板,允许您从与工作区关联的反馈标签中进行选择,并为特定标签添加分数。您还可以添加独立的评论。请按照设置反馈标准为您的工作区设置反馈标签。
您也可以直接在面板内设置新的反馈标准。
您可以使用标记的键盘快捷键来简化标注过程。
连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。