#### 基本信息
1. 填写队列的 **名称** 和 **描述**。
2. 可选地分配一个 **默认数据集**，以简化将已审查的运行导出到 LangSmith [工作区](/langsmith/administration-overview#workspaces)中的数据集。
#### 标注评分标准
1. 为你的标注者起草一些高级 **说明**，这些说明将显示在每个运行的侧边栏中。
2. 点击 **+ 添加反馈评分标准** 以向你的标注队列添加反馈键。标注者将在每个运行上看到这些反馈键。
3. 为每个反馈键添加描述，如果反馈是分类的，还需添加每个类别的简短描述。
例如，使用上一个截图中的描述，审查者将在 UI 的右侧面板中看到 **标注评分标准** 详细信息。
#### 协作者设置
设置审查者数量或你希望将项目保留给协作者的最长时间。当一个运行有多个标注者时，你可以选择让该运行留在队列中，直到所有审查者都将其标记为 **完成**。设置如下：
* **所有工作区成员审查每个运行**：启用后，运行将保留在队列中，直到每个[工作区](/langsmith/administration-overview#workspaces)成员都将其审查标记为 **完成**。
* **启用运行保留**：保留一个运行会将其锁定供你在设定的时间内进行审查。当运行被保留时，其他审查者可以查看它，但不能添加反馈或注释。如果所有工作区成员都审查每个运行，则禁用保留功能。
如果审查者查看了一个运行，然后在未将其标记为 **完成** 的情况下离开该运行，保留将在指定的 **保留时长** 后过期。然后该运行将被释放回队列，并可被其他审查者保留。
* **从运行表**：选择多个运行，然后点击页面底部的 **添加到标注队列**。
* **自动化规则**：[设置规则](/langsmith/rules)以自动将符合过滤器（例如，错误或低用户评分）的运行分配到队列中。
* **数据集与实验**：在数据集中选择一个或多个[实验](/langsmith/evaluation-concepts#experiment)，然后点击 **
### 审查单运行队列
1. 通过左侧导航栏导航到 **标注队列** 部分。
队列列表包含一个 **指定审查者** 列，显示每个队列分配了哪些审查者。要仅查看分配给你的队列，请点击列表顶部的 **分配给我** 过滤器。
2. 点击你要审查的队列。这将带你进入一个专注的、循环的视图，显示队列中需要审查的运行。左侧面板显示每个运行的状态（**需要审查**、**需要他人审查**、**已完成**）。
3. 添加 **审查者注释**，评分 [**反馈**](/langsmith/observability-concepts#feedback) 标准，或将运行标记为已审查。要构建数据集，请编辑运行的输入和输出以创建更正的参考示例，然后点击 **添加到数据集**。点击 **删除** 以从队列中移除该运行，对所有用户生效，无论当前的保留或队列设置如何。
3. 决定是将实验发送到现有的成对队列还是创建一个新队列。
4. 提供队列详细信息：
* **基本信息**（名称和描述）
* **说明与评分标准**，针对成对评分进行定制
* **协作者设置**（审查者数量、保留、保留时长）
5. 提交表单以创建队列。LangSmith 立即配对来自两个实验的运行并填充队列。
PAQ 的关键区别：
* **实验**：你必须预先提供两个实验会话。LangSmith 在创建时按时间顺序自动配对它们的运行并填充队列。
* **评分标准**：成对评分标准项只需要一个反馈键和（可选的）描述。标注者决定对于每个评分标准项，是运行 A、运行 B 还是两者都更好。
* **数据集**：成对队列不使用默认数据集，因为比较跨越两个实验。
* **保留与审查者**：相同的协作者控制适用。保留有助于防止两人同时判断同一比较。
### 向成对队列添加更多比较
如果你需要稍后添加更多比较，请返回 **数据集与实验**，再次选择两个实验，然后选择 **添加到成对标注队列** 以追加新的配对。
选择两个实验并创建 PAQ 会自动配对运行。当扩展现有 PAQ 时，LangSmith 会保留历史比较并将新配对追加到队列中。
### 审查成对队列
1. 从 **标注队列** 中，选择你要审查的成对队列。
2. 每个队列项目在左侧显示运行 A，在右侧显示运行 B，以及你的评分标准。
3. 对于每个评分标准项：
* 选择 **A 更好**、**B 更好** 或 **相等**。UI 在后台记录两个运行的二元反馈。
* 使用快捷键 `A`、`B` 或 `E` 来锁定你的选择。
4. 完成所有评分标准项后，按 **完成**（或在最后一个评分标准项上按 `Enter`）以进入下一个比较。
5. 可选操作：
* 留下与任一运行相关的评论。
* 如果需要稍后重新查看，请重新排队该比较。
* 打开完整的跟踪视图以进行更深入的调试。
保留、审查者阈值和评论的行为与单运行队列中的相同，使团队无需修改现有工作流程即可使用不同的队列类型。
