记录用户反馈

推荐阅读

在深入阅读本文档之前，阅读以下内容可能会有所帮助

• 关于追踪和反馈的概念指南
• 关于反馈数据格式的参考指南

在许多应用中，尤其是 LLM 应用中，收集用户反馈以了解您的应用在真实场景中的表现非常重要。观察用户反馈以及追踪数据的能力对于深入挖掘最有趣的数据点非常强大，然后可以将这些数据点发送以进行进一步审查、自动评估甚至数据集。要了解有关如何根据各种属性（包括用户反馈）筛选追踪的更多信息，请参阅本指南

LangSmith 使将用户反馈附加到追踪变得容易。公开一个简单的机制（例如，赞、踩按钮）来收集用户对应用程序响应的反馈通常很有帮助。然后，您可以使用 LangSmith SDK 或 API 发送追踪的反馈。要获取已记录运行的 run_id，请参阅本指南。

注意

您可以将用户反馈附加到追踪的任何中间运行（span），而不仅仅是根 span。这对于评价 LLM 应用程序的特定部分（例如 RAG 管道的检索步骤或生成步骤）非常有用。

Python

from langsmith import Client

client = Client()

# ... Run your application and get the run_id...
# This information can be the result of a user-facing feedback form

client.create_feedback(
  run_id,
  key="feedback-key",
  score=1.0,
  comment="comment",
)

TypeScript

import { Client } from "langsmith";
const client = new Client();

// ... Run your application and get the run_id...
// This information can be the result of a user-facing feedback form

await client.createFeedback(
  runId,
  "feedback-key",
  {
      score: 1.0,
      comment: "comment",
  }
);