如何比较实验结果

通常，当您迭代 LLM 应用（例如更改模型或 Prompt）时，您会希望比较不同实验的结果。

LangSmith 支持强大的比较视图，可让您专注于不同实验之间的关键差异、回归和改进。

打开比较视图

要打开实验比较视图，请单击数据集与实验页面，选择相关数据集，在“实验”选项卡上选择两个或多个实验，然后单击“比较”。

调整表格显示

您可以通过单击页面顶部的“完整”或“紧凑”来切换不同的视图。

切换“完整文本”将显示每次运行的输入、输出和参考输出的完整文本。如果参考输出太长而无法在表格中显示，您可以单击“展开”以查看完整内容。

您还可以在显示设置下拉菜单中选择和隐藏单个反馈键或单个指标，以隔离您想要查看的信息。

查看回归和改进

在 LangSmith 比较视图中，相对于您的基线实验，在您指定的反馈键上回归的运行将以红色突出显示，而改进的运行将以绿色突出显示。在每列的顶部，您可以看到该实验中有多少运行比您的基线实验更好，以及有多少运行更差。

筛选回归或改进

单击每列顶部的“回归”或“改进”按钮，以筛选到在该特定实验中回归或改进的运行。

更新基线实验和指标

为了跟踪回归，您需要

1. 选择要比较的基线实验和要衡量的指标。默认情况下，最新的实验被选为基线。
2. 选择您要重点比较的反馈键（评估指标）。默认情况下将分配一个，但您可以根据需要进行调整。
3. 配置对于所选反馈键，分数越高是否越好。此偏好将被存储。

打开追踪

如果您要评估的示例来自已摄取的运行，您可以将鼠标悬停在输出单元格上，然后单击追踪图标以打开该运行的追踪视图。这将在侧面板中打开一个追踪。

展开详细视图

从任何单元格，您可以单击悬停状态下的展开图标，以打开该特定示例输入的所有实验结果的详细视图，以及反馈键和分数。

查看摘要图表

您还可以通过单击页面顶部的“图表”选项卡来查看摘要图表。

使用实验元数据作为图表标签

您可以根据实验元数据配置图表的 x 轴标签。

选择元数据键以查看图表的 x 轴标签更改。