设置自动化规则
虽然您可以手动筛选和处理来自 LLM 应用程序的生产日志，但随着您的应用程序扩展到更多用户，这通常变得很困难。LangSmith 提供了一个强大的功能，称为自动化，允许您在追踪数据上触发某些操作。从高层次来看，自动化由过滤器、采样率和操作定义。
自动化规则可以触发诸如在线评估、将追踪的输入/输出添加到数据集、添加到注释队列以及触发 webhook 等操作。
您可以设置的一个自动化示例可以是“为我所有被踩的追踪触发关于模糊性的在线评估。”
创建规则
我们将在下面概述在 LangSmith 中创建自动化规则的步骤。
步骤 1：导航到规则创建
要创建规则，请单击任何项目详细信息页面右上角的规则，然后滚动到底部并单击 + 添加规则。
或者，您可以通过导航到 此链接 在设置中访问规则，单击 + 添加规则，然后单击项目规则。
目前您可以创建两种类型的规则：项目规则和数据集规则。
- 项目规则：此规则将应用于指定项目中的追踪。允许的操作包括添加到数据集、添加到注释队列、运行在线评估和触发 webhook。
- 数据集规则：此规则将应用于指定数据集中实验的一部分的追踪。允许的操作仅是在实验结果上运行评估器。要查看实际操作，您可以按照本指南进行操作。
给您的规则命名，例如“my_rule”
步骤 2：定义过滤器
您可以像平常一样创建过滤器，以过滤项目中的追踪。有关过滤器的更多信息，您可以参考本指南。
（可选）步骤 3：将规则应用于过去的运行
在创建新规则时，您也可以将规则应用于过去的运行。为此，请选中应用于过去的运行复选框，并输入回填起始日期作为应用规则的开始日期。
这将从回填起始日期开始，并应用运行规则，直到赶上最新的运行。
请注意，如果您想查看回填的进度，则必须扩大日志的日期范围，有关详细信息，请参阅查看自动化的日志。
步骤 4：定义采样率
您可以为自动化指定采样率（介于 0 和 1 之间）。这将控制发送到自动化操作的已过滤运行的百分比。例如，如果您将采样率设置为 0.5，则通过过滤器的追踪中将有 50% 发送到操作。
步骤 5：定义操作
自动化规则可以执行四种操作
- 添加到数据集：将追踪的输入和输出添加到数据集。
- 添加到注释队列：将追踪添加到注释队列。
- 运行在线评估：对追踪运行在线评估。有关在线评估的更多信息，您可以参考本指南。
- 触发 webhook：使用追踪数据触发 webhook。有关 webhook 的更多信息，您可以参考本指南。
- 延长数据保留期：延长使用基本保留期的匹配追踪的数据保留期（有关更多详细信息，请参阅数据保留文档）。请注意，所有其他规则也将通过上述数据保留文档中描述的自动升级机制延长匹配追踪的数据保留期，但此规则不执行其他操作。
查看自动化的日志
您可以通过转到 设置 -> 规则 并单击任何行中的 日志 按钮来查看自动化的日志。
您还可以通过单击任何项目详细信息页面右上角的 规则，然后单击任何规则的 查看日志 来访问日志。
日志使您能够确信您的规则按预期工作。您现在可以查看日志，其中列出了给定规则在过去一天中处理的所有运行。对于应用在线评估分数的规则，您可以轻松查看输出分数并导航到运行。对于将运行作为示例添加到数据集的规则，您可以查看生成的示例。如果特定规则执行触发了错误，您可以将鼠标悬停在错误图标上以查看错误消息。
默认情况下，规则日志仅显示过去一天中发生的运行的结果。要查看较旧运行的结果，您可以选择过去 1 天并输入所需的日期范围。当将规则应用于过去的运行时，处理将从开始日期开始并向前推进，因此需要这样做才能在回填进行时查看日志。
如果您更喜欢视频教程，请查看 LangSmith 入门课程中的自动化视频。