内联标注追踪和运行
LangSmith 允许您在应用程序中手动内联标注追踪并添加反馈。这对于为追踪添加上下文非常有用,例如用户的评论或关于特定问题的注释。您可以内联标注追踪,或将追踪发送到标注队列,这使您可以逐个仔细检查并记录运行的反馈。反馈标签与您的工作区相关联。
注意
您可以将用户反馈附加到追踪的任何中间运行(span),而不仅仅是根 span。这对于批判 LLM 应用程序的特定部分非常有用,例如 RAG 管道的检索步骤或生成步骤。
要内联标注追踪,请在追踪视图的右上角,针对追踪的任何特定运行,点击标注
。
这将打开一个面板,允许您从与工作区关联的反馈标签中选择,并为特定标签添加分数。您还可以添加单独的评论。请按照本指南为您的工作区设置反馈标签。您也可以在面板内部设置新的反馈标准。
您可以使用标记的键盘快捷键来简化标注过程。