内联注释追踪和运行
LangSmith 允许您在应用程序内手动注释带有反馈的追踪。这对于为追踪添加上下文非常有用,例如用户的评论或关于特定问题的注释。您可以内联注释追踪,或者将追踪发送到注释队列,这允许您一次仔细检查并将反馈记录到一次运行中。反馈标签与您的 工作区 相关联。
注意
您可以将用户反馈附加到追踪的任何中间运行(跨度),而不仅仅是根跨度。这对于评价 LLM 应用程序的特定部分非常有用,例如 RAG 管道的检索步骤或生成步骤。
要内联注释追踪,请单击追踪视图右上角的“Annotate
”,针对作为追踪一部分的任何特定运行。
这将打开一个窗格,您可以在其中从与您的工作区关联的反馈标签中进行选择,并为特定标签添加分数。您还可以添加独立的评论。请按照本指南为您的工作区设置反馈标签。您也可以直接从窗格本身设置新的反馈标准。
您可以使用标记的键盘快捷键来简化注释过程。