如何在数据集的分割/过滤视图上进行评估

推荐阅读

在深入了解此内容之前，阅读以下内容可能会有所帮助

• 关于获取示例的指南.
• 关于创建/管理数据集分割的指南

在数据集的过滤视图上进行评估

您可以使用 list_examples / listExamples 方法从数据集中获取示例子集以进行评估。您可以参考上面的指南，了解有关获取示例的不同方法的更多信息。

一种常见的工作流程是获取具有特定元数据键值对的示例。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, metadata={"desired_key": "desired_value"}),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    metadata: {"desired_key": "desired_value"},
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

有关更高级的过滤功能，请参阅此操作指南。

在数据集分割上进行评估

您可以使用 list_examples / listExamples 方法在数据集的一个或多个分割上进行评估。splits 参数接受您要评估的分割列表。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, splits=["test", "training"]),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    splits: ["test", "training"],
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

相关

• 了解有关如何获取数据集视图的更多信息此处