Skip to main content
LLM作为评判的评估器并非总是正确。因此,人工审核评估器留下的评分并在必要时进行修正通常很有用。LangSmith 允许您在用户界面或 SDK 中对评估器评分进行修正。

在比较视图中

在比较视图中,您可以点击任何反馈标签以查看反馈详情。然后,点击右侧的“编辑”图标以打开修正视图。接着,您可以在“进行修正”下方的文本框中输入您期望的分数。如果您愿意,还可以为修正附加说明。如果您使用的是少样本评估器,这将非常有用,该说明将自动插入到您的少样本示例中,替代 few_shot_explanation 提示变量。 审核评估器比较视图

在运行表格中

在运行表格中,找到“反馈”列并点击反馈标签以查看反馈详情。同样,点击右侧的“编辑”图标以打开修正视图。 审核评估器运行表格

在 SDK 中

可以通过 SDK 的 update_feedback 函数,使用 correction 字典进行修正。您必须指定一个 score 键,其对应一个数字,以便在用户界面中渲染。
import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)