如何在数据集的拆分/筛选视图上进行评估

推荐阅读

在深入了解此内容之前，阅读以下指南可能会有所帮助：

• 获取示例指南.
• 创建/管理数据集拆分指南

在数据集的筛选视图上进行评估

您可以使用 list_examples / listExamples 方法从数据集中获取示例子集进行评估。您可以参考上述指南，了解有关获取示例的不同方式。

一个常见的工作流程是获取具有特定元数据键值对的示例。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, metadata={"desired_key": "desired_value"}),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    metadata: {"desired_key": "desired_value"},
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

有关更高级的筛选功能，请参阅此操作指南。

在数据集拆分上进行评估

您可以使用 list_examples / listExamples 方法评估数据集的一个或多个拆分。splits 参数接受一个您希望评估的拆分列表。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, splits=["test", "training"]),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    splits: ["test", "training"],
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

相关

• 在此处了解有关如何获取数据集视图的更多信息：here