在提示中包含多模态内容
有些应用程序基于多模态内容,例如可以回答有关 PDF 或图像问题的聊天机器人。在这些情况下,您会希望在提示中包含多模态内容,并测试模型回答有关内容问题的能力。
LangSmith Playground 支持两种在提示中整合多模态内容的方法:
- 内联内容:将静态文件(图像、PDF、音频)直接嵌入到您的提示中。当您希望在提示的所有使用场景中始终包含相同的多模态内容时,这种方法是理想的。例如,您可以包含一张参考图像来帮助模型提供更准确的回复。
- 模板变量:为附件创建动态占位符,每次可以填充不同的内容。这种方法提供了更大的灵活性,让您可以
- 测试模型如何处理不同的输入
- 创建可重用的、适用于不同内容的提示
注意
并非所有模型都支持多模态内容。在使用 Playground 中的多模态功能之前,请确保您选择的模型支持您想要使用的文件类型。
内联内容
点击您想要添加多模态内容的消息中的文件图标。在 上传内容
选项卡下,您可以上传文件并将其内联到提示中。
模板变量
点击您想要添加多模态内容的消息中的文件图标。在 模板变量
选项卡下,您可以为特定附件类型创建模板变量。目前,仅支持图像、PDF 和音频文件(.wav、.mp3)。
填充模板变量
添加模板变量后,您可以使用屏幕右侧的面板为其提供内容。只需点击 +
按钮即可上传或选择将用于填充模板变量的内容。
运行评估
在手动测试您的提示后,您可以运行评估,以查看提示在黄金示例数据集上的表现。