概念
本概念指南涵盖了在将追踪记录到 LangSmith 时需要理解的重要主题。Trace 本质上是您的应用程序从输入到输出所采取的一系列步骤。这些单独的步骤中的每一步都由 Run 表示。Project 只是追踪的集合。下图在简单的 RAG 应用的上下文中展示了这些概念，该应用从索引中检索文档并生成答案。
LangSmith 中的原始数据类型
运行
Run 是一个 span，表示您的 LLM 应用程序中的单个工作单元或操作。这可以是到 LLM 或链的单次调用，也可以是 prompt 格式化调用，或者是可运行的 lambda 调用。如果您熟悉 OpenTelemetry，您可以将运行视为 span。
要了解有关运行如何在应用程序中存储的更多信息，请参阅此参考指南。
追踪
Trace 是与单个操作相关的运行的集合。例如，如果您有一个用户请求触发了一个链，并且该链调用了 LLM，然后调用了输出解析器等等，那么所有这些运行都将是同一追踪的一部分。如果您熟悉 OpenTelemetry，您可以将 LangSmith 追踪视为 span 的集合。运行通过唯一的追踪 ID 绑定到追踪。
项目
Project 是追踪的集合。您可以将项目视为与单个应用程序或服务相关的所有追踪的容器。您可以拥有多个项目，并且每个项目可以有多个追踪。
反馈
Feedback 允许您根据某些标准对单个运行进行评分。每个反馈条目都包含一个反馈标签和反馈分数，并通过唯一的运行 ID 绑定到运行。反馈目前可以是连续的或离散的（分类的），您可以在组织内的不同运行中重复使用反馈标签。
可以通过多种方式收集关于运行的反馈
- 与来自 LLM 应用程序的追踪一起发送
- 由应用中的用户内联或在标注队列中生成
- 在离线评估期间由自动评估器生成
- 由在线评估器生成
要了解有关反馈如何在应用程序中存储的更多信息，请参阅此参考指南。
标签
Tags 是可以附加到运行的字符串集合。它们用于对运行进行分类，并使其更容易在 LangSmith UI 中搜索它们。标签可用于在 LangSmith UI 中过滤运行，也可用于将运行分组在一起进行分析。了解如何将标签附加到您的追踪 
元数据
Metadata 是可以附加到运行的键值对集合。元数据可用于存储有关运行的附加信息，例如生成运行的应用程序版本、生成运行的环境或您想要与运行关联的任何其他信息。与标签类似，您可以使用元数据在 LangSmith UI 中过滤运行，也可用于将运行分组在一起进行分析。了解如何将元数据添加到您的追踪 
数据存储和保留
对于在 2024 年 5 月 22 日星期三或之后摄取的追踪，LangSmith (SaaS) 最多将追踪数据保留 400 天，从追踪插入 LangSmith 追踪数据库的日期和时间算起。
400 天后，追踪将从 LangSmith 中永久删除，但会保留有限数量的元数据，用于显示准确的统计信息，例如历史使用情况和成本。
如果您希望将追踪数据保留超过数据保留期限，您可以将其添加到数据集。数据集允许您存储追踪的输入和输出（例如，作为键值数据集），并将无限期地保留，即使在追踪被删除后也是如此。
从 LangSmith 删除追踪
如果您希望在到期日期之前从 LangSmith 中删除追踪，LangSmith 支持通过删除项目来删除追踪。
这可以通过以下方式完成
- 在 LangSmith UI 中，通过项目溢出菜单上的“删除”选项
- 通过 删除追踪器会话 API 端点
- 通过 LangSmith SDK 中的
delete_project()(Python) 或deleteProject()(JS/TS)
LangSmith 目前不支持自助删除单个追踪。
如果您需要在追踪的到期日期之前从 LangSmith 项目中删除单个追踪（或一组追踪），请让您的帐户所有者联系 LangSmith 支持团队，并提供您的组织 ID 和追踪 ID。