如何审核评估器分数

LLM作为评判者的评估器并非总是准确无误。因此，人工审核评估器给出的分数并在必要时进行修正通常很有用。LangSmith允许您在UI或SDK中对评估器分数进行修正。

在比较视图中

在比较视图中，您可以点击任意反馈标签以显示反馈详情。然后，点击右侧的“编辑”图标以显示修正视图。您可以在“进行修正”下的文本框中输入您想要的分数。如果您愿意，您还可以为您的修正附加解释。如果您正在使用少样本评估器，这将非常有用，并且会自动插入到您的少样本示例中，取代few_shot_explanation提示变量。

在运行表中

在运行表中，找到“反馈”列，然后点击反馈标签以显示反馈详情。同样，点击右侧的“编辑”图标以显示修正视图。

在SDK中

可以通过SDK的update_feedback函数，使用correction字典进行修正。您必须指定一个score键，其对应的值为一个数字，这样才能在UI中渲染显示。

Python

import langsmith

client = langsmith.Client()
client.update_feedback(
  my_feedback_id,
  correction={
      "score": 1,
  },
)

TypeScript

import { Client } from 'langsmith';

const client = new Client();
await client.updateFeedback(
  myFeedbackId,
  {
      correction: {
          score: 1,
      }
  }
)