使用注释队列
注释队列是一项强大的 LangSmith 功能，它为人工注释者提供了一个简化的、定向的视图，以便将反馈附加到特定的运行。虽然您始终可以内联注释运行，但注释队列提供了另一种选择，可以将运行分组在一起，然后让注释者审查并提供反馈。
创建注释队列
要创建注释队列，请通过主页或左侧导航栏导航到注释队列部分。然后单击右上角的+ 新建注释队列。
基本详情
填写表格，输入队列的名称和描述。您还可以为队列分配默认数据集，这将简化将某些运行的输入和输出发送到 LangSmith 工作区中的数据集的过程。
注释规则
首先为您的注释者起草一些高级说明，这些说明将显示在每个运行的侧边栏中。
接下来，单击“+ 期望的反馈”以将反馈键添加到您的注释队列。注释者将在每次运行时看到这些反馈键。为每个反馈键添加描述，如果反馈是分类的，则为每个类别添加简短描述。
审阅者将看到此内容
协作者设置
有一些与多个注释者相关的设置
- 每次运行的审阅者数量：这决定了必须将运行标记为“完成”才能将其从队列中移除的审阅者数量。如果您选中“所有工作区成员审阅每个运行”，则运行将保留在队列中，直到所有工作区成员都将其标记为“完成”。
- 启用运行预留：我们建议启用预留。这将防止多个注释者同时审阅相同的运行。
- 预留如何工作？
当审阅者查看运行时，该运行将为该审阅者预留指定的“预留时长”。如果如上所述，每次运行有多个审阅者，则该运行可以同时被多个审阅者预留（最多为每次运行的审阅者数量）。
- 如果时间耗尽会发生什么？
如果审阅者查看了某个运行，然后在未将其标记为“完成”的情况下离开了该运行，则预留将在指定的“预留时长”后过期。然后，该运行将被释放回队列，并可以被另一位审阅者预留。
单击“重新排队到末尾”只会将当前运行移动到当前用户的队列末尾；它不会影响任何其他用户的队列顺序。它还将释放当前用户对该运行的预留。
由于这些设置，单个注释者在注释队列中可见的运行数量可能与队列中的运行总数以及任何其他人的队列大小不同（这很可能）。
您可以随时通过单击注释队列部分中的铅笔图标来更新这些设置。
将运行分配到注释队列
要将运行分配到注释队列，可以
-
单击任何追踪视图右上角的添加到注释队列。您可以将追踪的任何中间运行（跨度）添加到注释队列，而不仅仅是根跨度。
-
在运行表中选择多个运行，然后单击页面底部的添加到注释队列。
-
设置自动化规则，将通过特定筛选器和采样条件的运行自动分配到注释队列。
-
从数据集页面选择一个或多个实验，然后单击注释。从弹出的窗口中，您可以创建新队列或将运行添加到现有队列：
通常，将应用程序中具有特定用户反馈评分（例如，赞、踩）的运行分配到注释队列是一个非常好的主意。这样，您可以识别并解决导致用户不满的问题。要了解有关如何从 LLM 应用程序捕获用户反馈的更多信息，请遵循本指南。
审阅注释队列中的运行
要审阅注释队列中的运行，请通过主页或左侧导航栏导航到注释队列部分。然后单击要审阅的队列。这将带您进入一个集中的、循环的视图，其中显示队列中需要审阅的运行。
您可以附加评论、为特定反馈标准附加分数、将运行添加到数据集和/或将运行标记为已审阅。您还可以通过单击“查看运行”旁边的垃圾桶图标，从所有用户的队列中删除运行，即使队列当前有任何预留或设置。
显示的键盘快捷键可以帮助简化审阅过程。
