反馈数据格式

推荐阅读

在深入了解此内容之前，阅读以下内容可能会有所帮助

• 关于跟踪和反馈的概念指南

反馈是 LangSmith 存储特定跟踪或中间运行（span）评估标准和分数的方式。反馈可以通过多种方式生成，例如

1. 随跟踪一起发送从 LLM 应用程序
2. 由用户在应用程序中生成内联或在标注队列中
3. 由自动评估器在离线评估期间生成
4. 由在线评估器生成

反馈以以下字段的简单格式存储

字段名称	类型	描述
ID	UUID	记录本身的唯一标识符
创建时间	日期时间	记录创建的时间戳
修改时间	日期时间	记录最后修改的时间戳
会话 ID	UUID	运行所属的实验或跟踪项目的唯一标识符
运行 ID	UUID	会话中特定运行的唯一标识符
键	字符串	描述反馈标准的键，例如“正确性”
分数	数值	与反馈键关联的数值分数
值	字符串	保留用于存储与分数关联的值。适用于分类反馈。
评论	字符串	与记录关联的任何评论或标注。这可以是给定分数的理由。
修正	对象	保留用于存储修正详情（如果有）
反馈来源	对象	包含反馈来源信息的对象
反馈来源.类型	字符串	反馈来源的类型，例如“api”、“app”、“evaluator”
反馈来源.元数据	对象	目前保留用于附加元数据
反馈来源.用户 ID	UUID	提供反馈的用户的唯一标识符

以下是上述格式的反馈记录的 JSON 示例表示

{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}