使用仪表盘监控项目
仪表盘为您提供跟踪数据的高级洞察，帮助您发现趋势并监控应用程序的健康状况。LangSmith 提供两种仪表盘类型：
- 预建仪表盘：为每个跟踪项目自动生成。
- 自定义仪表盘：完全可配置的图表集合，根据您的需求量身定制。
预建仪表盘
预建仪表盘为每个项目自动创建，涵盖基本指标，如跟踪计数、错误率、token 使用量等。
您无法修改预建仪表盘。将来，我们计划允许您克隆默认仪表盘，以便将其作为自定义的起点。
仪表盘部分
预建仪表盘分为以下几个部分：
| 部分 | 显示内容 |
|---|---|
| 跟踪 | 跟踪计数、延迟和错误率。一个跟踪是与单个操作相关联的运行集合。例如，如果用户请求触发了一个代理，那么该代理调用的所有运行都将属于同一个跟踪。 |
| LLM 调用 | LLM 调用计数和延迟。包括所有运行类型为“llm”的运行。 |
| 成本和 Token | 按 token 类型细分的总 token 数和每跟踪 token 数及成本。成本使用LangSmith 的成本跟踪进行衡量。 |
| 工具 | 按工具名称细分的工具运行的运行计数、错误率和延迟统计信息。包括运行类型为“tool”的运行。限制为最常见的 5 个工具。 |
| 运行类型 | 作为根运行的直接子项的运行的运行计数、错误率和延迟统计信息。这有助于理解代理的高级执行路径。限制为最常见的 5 个运行名称。1 |
| 反馈分数 | 最常见的 5 种反馈类型的聚合统计信息。图表显示数值反馈的平均分数和分类反馈的类别计数。 |
1 例如，对于以下跟踪，以下运行的深度为 1：
分组依据
分组依据 运行标签或元数据可用于按对应用程序重要的属性拆分数据。全局分组依据设置显示在仪表盘的右上角。请注意，工具和运行类型图表已应用分组依据，因此全局分组依据不会生效；全局分组依据将应用于所有其他图表。
将元数据添加到运行中时，我们建议在跟踪以及特定运行（例如 LLM 调用）上具有相同的元数据。元数据和标签不会从父运行传播到子运行，反之亦然。因此，如果您希望按某个元数据键对跟踪图表和 LLM 调用图表进行分组，则您的跟踪（根运行）和 LLM 运行都需要附加该元数据。
自定义仪表盘
创建量身定制的图表集合，用于跟踪对您的应用程序最重要的指标。
创建新仪表盘
- 导航到左侧边栏中的监控选项卡。
- 单击+ 新建仪表盘按钮。
- 为您的仪表盘命名并添加描述。
- 单击创建。
向仪表盘添加图表
- 在仪表盘中，单击+ 新建图表按钮以打开图表创建面板。
- 为您的图表命名并添加描述。
- 配置图表。
图表配置
选择跟踪项目并筛选运行
- 选择一个或多个跟踪项目以跟踪其指标。
- 使用图表筛选器部分来优化匹配的运行。此筛选器适用于图表中的所有数据系列。有关筛选跟踪的更多信息，请参阅我们的在应用程序中筛选跟踪指南。
选择指标
- 从下拉菜单中选择一个指标来设置图表的 y 轴。选择项目和指标后，您将看到图表的预览和匹配的运行。
- 对于某些指标（例如延迟、token 使用量、成本），我们支持比较具有相同单位的多个指标。例如，您可能希望在一个图表中看到提示 token 和完成 token。每个指标显示为单独的一行。
拆分数据
有两种方法可以在图表中创建多个系列（即在图表中创建多条线）：
-
分组依据：按运行标签或元数据、运行名称或运行类型对运行进行分组。分组依据会自动根据所选字段将数据拆分为多个系列。请注意，分组依据仅限于按频率排名前 5 的元素。
-
数据系列：手动定义具有单独筛选器的多个系列。这对于比较单个指标中的精细数据很有用。
选择图表类型
- 选择折线图或柱状图进行可视化。
保存和管理图表
- 单击
保存将图表保存到仪表盘。 - 通过单击图表右上角的三点按钮来编辑或删除图表。
- 通过单击图表右上角的三横线按钮并选择+ 克隆来克隆图表。这将打开一个新的图表创建面板，其中包含与原始图表相同的配置。
从跟踪项目链接到仪表盘
您可以直接从跟踪项目链接到仪表盘。默认情况下，会选择跟踪项目的预建仪表盘。如果您有自定义仪表盘并希望链接它，请：
- 在您的跟踪项目中，单击仪表盘选择器旁边的铅笔图标。
- 选择一个仪表盘作为新的默认仪表盘。
示例：用户旅程监控
使用监控图表来映射代理在特定节点上做出的决策。
考虑一个电子邮件助手代理。在特定节点上，它会就一封电子邮件做出以下决策：
- 回复电子邮件
- 通知用户
- 无需回复
我们可以创建一个图表来跟踪和可视化这些决策的细分。
创建图表
-
指标选择：选择指标
运行计数。 -
图表筛选器：添加一个树形筛选器以包含所有名称为
triage_input的跟踪。这意味着我们只包含命中了triage_input节点的跟踪。同时添加一个图表筛选器，将Is Root设置为true，这样我们的计数就不会因跟踪中的节点数量而膨胀。
-
数据系列：为
triage_input节点上做出的每个决策创建一个数据系列。决策的输出存储在输出对象的triage.response字段中，决策的值可以是no、email或notify。这些决策中的每一个都会在图表中生成一个单独的数据系列。
现在我们可以可视化triage_input节点上随时间做出的决策。