使用标注队列
标注队列是 LangSmith 的一项强大功能，它为人工标注员提供了一个精简、有导向的视图，以便将反馈附加到特定的运行。虽然您始终可以内联标注运行，但标注队列提供了另一种选项，可以将运行分组，然后让标注员对其进行审查并提供反馈。
创建标注队列
要创建标注队列，请通过主页或左侧导航栏导航到标注队列部分。然后点击右上角的+ 新建标注队列。
基本详情
填写队列的名称和描述。您还可以为队列分配默认数据集，这将简化将某些运行的输入和输出发送到 LangSmith 工作区中数据集的过程。
标注规则
首先为您的标注员起草一些高级说明，这些说明将在每次运行时显示在侧边栏中。
接下来，点击“+ 预期反馈”将反馈键添加到您的标注队列中。标注员将在每次运行时看到这些反馈键。为每个反馈键添加描述，如果反馈是分类的，还需为每个类别添加简短描述。
审阅者将看到这些
协作者设置
有几个与多位标注员相关的设置
- 每次运行的审阅者数量：这决定了必须有多少位审阅者将运行标记为“完成”才能将其从队列中移除。如果您勾选“所有工作区成员审阅每次运行”，则运行将保留在队列中，直到所有工作区成员都将其标记为“完成”为止。
- 启用运行预留：我们建议启用预留。这将防止多个标注员同时审阅同一个运行。
- 预留如何运作？
当审阅者查看运行后，该运行将为该审阅者预留指定的“预留时长”。如果每次运行有多个审阅者（如上所述），则该运行可以同时被多个审阅者预留（最多达到每次运行的审阅者数量）。
- 如果时间耗尽会怎样？
如果审阅者已查看运行但未将其标记为“完成”就离开，则预留将在指定的“预留时长”后过期。该运行随后将被释放回队列，并可由另一位审阅者预留。
点击“重新排队到末尾”只会将当前运行移到当前用户的队列末尾；它不会影响任何其他用户的队列顺序。它还会释放当前用户对该运行的预留。
由于这些设置，个人在标注队列中可见的运行数量可能（且很可能）与队列中的总运行数量以及其他人的队列大小不同。
您可以随时通过点击标注队列部分中的铅笔图标来更新这些设置。
将运行分配到标注队列
要将运行分配到标注队列，可以通过以下方式：
-
点击任何追踪视图右上角的添加到标注队列。您可以将追踪的任何中间运行（span）添加到标注队列中，而不仅仅是根 span。
-
在运行表中选择多个运行，然后点击页面底部的添加到标注队列。
-
设置自动化规则，自动将通过特定过滤和采样条件的运行分配到标注队列。
-
从数据集页面选择一个或多个实验，然后点击标注。在弹出的窗口中，您可以创建新队列或将运行添加到现有队列中：
通常，将应用程序中具有特定用户反馈分数（例如赞、踩）的运行分配到标注队列是一个非常好的主意。通过这种方式，您可以识别并解决导致用户不满的问题。要了解如何从您的 LLM 应用程序捕获用户反馈，请参阅本指南。
审阅标注队列中的运行
要审阅标注队列中的运行，请通过主页或左侧导航栏导航到标注队列部分。然后点击您要审阅的队列。这将带您进入队列中需要审阅的运行的集中、循环视图。
您可以添加评论，为特定反馈标准添加分数，将运行添加到数据集，和/或将运行标记为已审阅。您还可以通过点击“查看运行”旁边的垃圾桶图标，将运行从所有用户的队列中移除，无论队列的当前预留或设置如何。
所示的键盘快捷键有助于简化审阅过程。
