跳到主要内容

设置自动化规则

虽然您可以手动筛选和处理来自我们 LLM 应用程序的生产日志,但随着您的应用程序扩展到更多用户,这通常会变得很困难。LangSmith 提供了一个名为“自动化”的强大功能,允许您对跟踪数据触发特定操作。从高层次来看,自动化由过滤器采样率操作定义。

自动化规则可以触发诸如在线评估、将跟踪的输入/输出添加到数据集、添加到标注队列以及触发 webhook 等操作。

您可以设置的自动化示例可以是“对所有我点踩的跟踪触发一个基于模糊度的在线评估。”

创建规则

我们将在下面概述在 LangSmith 中创建自动化规则的步骤。

步骤 1:导航到规则创建页面

要创建规则,请点击任何项目详情页面右上角的规则,然后滚动到底部并点击+ 添加规则

或者,您可以通过访问此链接在设置中访问规则,点击+ 添加规则,然后点击项目规则

注意

目前有两种类型的规则可以创建:项目规则数据集规则

  • 项目规则:此规则将应用于指定项目中的跟踪。允许的操作包括添加到数据集、添加到标注队列、运行在线评估和触发 webhook。
  • 数据集规则:此规则将应用于指定数据集中属于实验的跟踪。允许的操作仅限于对实验结果运行评估器。要查看其运行情况,您可以遵循此指南

为您的规则命名,例如“my_rule”

步骤 2:定义过滤器

您可以像往常一样创建过滤器来过滤项目中的跟踪。有关过滤器的更多信息,请参阅此指南

(可选)步骤 3:将规则应用于过去的运行

创建新规则时,您也可以将该规则应用于过去的运行。为此,请勾选应用于过去的运行复选框,并输入回填起始日期作为应用规则的开始日期。

这将从回填起始日期开始,应用运行规则直到追赶上最新的运行。

请注意,如果您想查看回填进度,则必须扩展日志的日期范围,详情请参阅查看自动化日志

步骤 4:定义采样率

您可以为自动化指定采样率(介于 0 和 1 之间)。这将控制发送到自动化操作的过滤运行的百分比。例如,如果您将采样率设置为 0.5,那么通过过滤的跟踪中有 50% 将被发送到该操作。

步骤 5:定义操作

通过自动化规则可以执行四种操作

  • 添加到数据集:将跟踪的输入和输出添加到数据集。
  • 添加到标注队列:将跟踪添加到标注队列。
  • 运行在线评估:对跟踪运行在线评估。有关在线评估的更多信息,请参阅此指南
  • 触发 webhook:使用跟踪数据触发 webhook。有关 webhook 的更多信息,请参阅此指南
  • 延长数据保留期:延长使用基本保留的匹配跟踪的数据保留期(有关详细信息,请参阅数据保留文档)。请注意,所有其他规则也将通过上述数据保留文档中描述的自动升级机制延长匹配跟踪的数据保留期,但此规则不采取额外操作。

查看自动化日志

您可以通过前往设置 -> 规则并点击任何行中的日志按钮来查看自动化的日志。

您还可以通过点击任何项目详情页面右上角的规则,然后点击任何规则的查看日志来访问日志。

日志让您确信您的规则正在按预期工作。您现在可以查看列出给定规则在过去一天处理的所有运行的日志。对于应用在线评估分数的规则,您可以轻松查看输出分数并导航到该运行。对于将运行作为示例添加到数据集的规则,您可以查看生成的示例。如果某个规则执行触发了错误,您可以将鼠标悬停在错误图标上查看错误消息。

Logs_Gif

Logs

默认情况下,规则日志仅显示过去一天内发生的运行结果。要查看更早的运行结果,您可以选择过去 1 天并输入所需的日期范围。将规则应用于过去的运行S时,处理将从开始日期向前进行,因此在回填进行期间,这将是查看日志所必需的。

如果您喜欢视频教程,请查看 LangSmith 入门课程中的自动化视频


此页面有帮助吗?


您可以留下详细反馈 在 GitHub 上.