跳到主要内容

在提示中包含多模态内容

有些应用程序基于多模态内容,例如可以回答有关 PDF 或图像问题的聊天机器人。在这些情况下,您会希望在提示中包含多模态内容,并测试模型回答有关内容问题的能力。

LangSmith Playground 支持两种在提示中整合多模态内容的方法:

  1. 内联内容:将静态文件(图像、PDF、音频)直接嵌入到您的提示中。当您希望在提示的所有使用场景中始终包含相同的多模态内容时,这种方法是理想的。例如,您可以包含一张参考图像来帮助模型提供更准确的回复。
  2. 模板变量:为附件创建动态占位符,每次可以填充不同的内容。这种方法提供了更大的灵活性,让您可以
    • 测试模型如何处理不同的输入
    • 创建可重用的、适用于不同内容的提示
注意

并非所有模型都支持多模态内容。在使用 Playground 中的多模态功能之前,请确保您选择的模型支持您想要使用的文件类型。

内联内容

点击您想要添加多模态内容的消息中的文件图标。在 上传内容 选项卡下,您可以上传文件并将其内联到提示中。

模板变量

点击您想要添加多模态内容的消息中的文件图标。在 模板变量 选项卡下,您可以为特定附件类型创建模板变量。目前,仅支持图像、PDF 和音频文件(.wav、.mp3)。

填充模板变量

添加模板变量后,您可以使用屏幕右侧的面板为其提供内容。只需点击 + 按钮即可上传或选择将用于填充模板变量的内容。

运行评估

在手动测试您的提示后,您可以运行评估,以查看提示在黄金示例数据集上的表现。


本页内容有帮助吗?


您可以留下详细反馈 在 GitHub 上.