LangSmith 发布说明
注意
提醒:前缀为 ls__
的 API 密钥已禁用,请使用 lsv2...
样式的密钥,自 LangSmith Helm 版本 v0.8 起生效。 有关更多信息,请参阅 管理概念指南。
2024 年 10 月 28 日当周 - LangSmith v0.8
发布说明可在我们的新变更日志中找到。
2024 年 8 月 26 日当周 - LangSmith v0.7
此版本添加了许多新功能,改进了 Threads 视图的性能,并增加了密码身份验证支持,并增加了对在 LangSmith 跟踪上设置默认生存时间 (TTL) 的支持。
自 v0.6.0 以来的新功能
- 资源标签,用于在 LangSmith 中组织您的工作区
- 生成合成示例以增强 LangSmith 数据集
- 增强的跟踪比较视图和可保存的自定义跟踪过滤器
- 定义、验证和更新数据集模式
- 多名注释者可以在 LangSmith 中审查运行
- 支持在跟踪视图中过滤运行
- 增强的键值搜索
- 运行规则的 Webhook 通知
- 支持在 LangSmith Playground 中并排比较多个提示和模型配置
- 支持在保存 Prompt 时存储模型和配置
性能和可靠性变更
- 改进了大型项目的 Threads 视图的性能
- 改进了 Clickhouse 数据库暂时不可用时的错误处理
基础设施变更
- 为跟踪添加了 Helm 配置选项以设置生存时间。设置后,此设置将仅应用于新摄取的跟踪,通过更改此设置,跟踪将在 TTL 过期后自动且不可撤销地从 Clickhouse 中删除。 有关更多详细信息,请参阅 TTL 和数据保留。您可能还需要更改/审核您的项目默认 TTL 设置。
- 添加了配置选项以启用
blobStorage
。这将把运行输入、输出、错误、清单、额外信息和事件移动到 blob 存储,以降低 ClickHouse 的负载/减少磁盘使用量。目前仅支持 S3 和 GCP。有关更多详细信息,请参阅 启用 Blob 存储。 - 所有资源的默认资源/限制。请注意,您可能需要调整集群设置。
- 默认情况下,我们将使用
- 16 CPU
- 64 GB 内存
- 您将需要一个可以容纳 4 CPU/16 GB 内存的节点
- 要覆盖这些设置,您可以手动配置资源请求/限制
- 默认情况下,我们将使用
- 默认情况下,捆绑的
Redis
持久性已开启。如果您使用的是捆绑版本的redis
,如果之前未开启持久性,您可能需要重新创建Redis
StatefulSet。 - 更新了
clickhouseMigration
命令,以便在运行迁移之前等待 clickhouse 初始化。 - 弃用
<domain>/api-hub url
。您现在可以使用<domain>/api
url 进行所有 api 交互。这将在 v0.8 版本中完全删除,因此请确保迁移任何使用先前 url 的应用程序。 - 为
queue
pod 添加了健康检查。 - 更新了
nginx
配置。 - 删除了 OpenAI 密钥配置选项。
管理变更
- 增加了对简单密码身份验证的支持。有关更多详细信息,请参阅 电子邮件/密码,又名基本身份验证
- 请注意,目前没有从简单身份验证到 OIDC 身份验证的迁移路径 —— 我们正在为后续版本开发此迁移路径。
- 增加了禁用个人组织的支持。
- 增加了禁用组织创建的支持。
- 添加了配置选项,允许工作区管理员添加工作区用户。
- 我们将前缀为
ls__
的 v1 API 密钥的弃用推迟到 LangSmith 的 v0.8 版本,该版本应在 10 月 1 日左右发布。请尽早将您的 API 密钥更新为前缀为lsv2__sk
的服务密钥。
弃用通知
随着 v0.7 的发布
- LangChain Hub SDK 现已弃用,其功能已并入 LangSmith SDK。
- LangSmith v0.6.x 及更早版本现已进入维护模式,可能只会收到关键安全修复。
2024 年 6 月 17 日当周 - LangSmith v0.6
LangSmith v0.6 提高了运行规则的性能和可靠性,在一个组织内增加了对多个工作区的支持、Playground 中的自定义模型以及对评估的重大增强。
自 v0.5 以来的新功能
- 用于评估和过滤/编辑数据集示例的数据集拆分。了解更多...
- 您现在可以在 LangSmith 中运行实验的多次重复。了解更多...
- 现成的在线评估器提示,用于捕获 RAG 的不良检索和幻觉。了解更多...
- 管理没有句柄的私有提示。了解更多...
- LangSmith 中的工作区,用于改进协作和组织。了解更多...
- 从头开始而不是从跟踪或提示进入 Playground。了解更多...
- 在线评估器提示的变量映射。了解更多...
- Playground 中的自定义模型支持。了解更多...
性能和可靠性变更
- 改进了运行规则的性能,尤其是在规则执行可能超过规则执行间隔的情况下。
- 将运行规则间隔从 5 分钟缩短到 1 分钟,从而更频繁地应用规则
- 提高了通过 SDK 查询 Hub 的性能。注意:访问这些改进需要 v0.1.20 或更高版本的 Hub SDK
基础设施变更
- [仅限 Docker Compose] 默认端口已从 80 更改为 1980。
- [Helm] playground 镜像启动命令已更改。如果您使用的是自定义 Helm chart,您可能需要查看 Playground 的配置并相应地调整您的 Helm 配置。
- [Helm] 添加了在
values.yaml
文件中配置探针的能力。这允许您调整 LangSmith 服务的就绪性和活跃性探针。如果您更改了容器端口,则可能需要调整这些探针。 - [Helm] 添加了 ArgoCD
PostSync
注释以挂钩作业,以确保作业在 ArgoCD 中正确运行。如果您之前手动设置了此注释,则可能需要删除它。 - 将 Clickhouse 从 v23.9 更新到 v24.2 注意:仅适用于使用 LangSmith 提供的 Clickhouse 的环境。
管理变更
- 增加了对工作区的支持。有关更多详细信息,请参阅管理概念指南。
- 在
values.yaml
中添加了全局设置orgCreationDisabled
以禁用新组织的创建。 - 增加了对 Azure OpenAI 模型提供商的自定义 TLS 证书的支持。有关更多详细信息,请参阅 操作指南。
弃用通知
随着 v0.6 的发布
- LangSmith v0.5.x 及更早版本现已进入维护模式,可能只会收到关键安全修复。
2024 年 5 月 13 日当周 - LangSmith v0.5
LangSmith v0.5 提高了性能和可靠性,增加了改进回归测试、生产监控和自动化的功能,并实施了基于角色的访问控制 (RBAC)。
重大变更
- 我们将放弃对 API 密钥的支持,转而支持个人访问令牌 (PAT) 和服务密钥。我们建议对所有新集成使用 PAT 和服务密钥。前缀为
ls__
的 API 密钥将不再有效,自 2024 年 8 月发布的 LangSmith Helm 版本 v0.7 起生效。
自 v0.4 以来的新功能
- 基于角色的访问控制。请参阅:https://blog.langchain.ac.cn/access-control-updates-for-langsmith/
- 改进的回归测试体验。请参阅:https://blog.langchain.ac.cn/regression-testing/
- 改进的生产监控和自动化:请参阅:https://blog.langchain.ac.cn/langsmith-production-logging-automations/
性能和可靠性变更
- 拆分摄取、会话删除和自动化作业,以便在单独的资源池中执行。
基础设施变更
- 自 LangSmith v0.4 起,Clickhouse 持久性现在默认使用
50Gi
的存储空间。您可以通过更改values.yaml
文件中的clickhouse.statefulSet.persistence.size
值来调整此设置。- 如果您的现有配置无法支持 50Gi,您可能需要调整现有存储类的大小或将
clickhouse.statefulSet.persistence.size
设置为之前的默认值8Gi
。 - 强烈建议您监控 Clickhouse 卷上的存储消耗,以确保卷不会接近满容量,这可能会导致运行摄取行为异常。
- 如果您的现有配置无法支持 50Gi,您可能需要调整现有存储类的大小或将
- 内部使用的新 Platform-Backend 服务。此服务也使用自己的镜像。您可能需要相应地调整您的 helm
values
文件。
管理变更
弃用通知
随着 v0.5 的发布
- LangSmith v0.4.x 及更早版本现已进入维护模式,可能只会收到关键安全修复。
2024 年 3 月 25 日当周 - LangSmith v0.4
LangSmith 0.4 提高了性能和可靠性,实施了新的异步队列工作器以优化运行摄取,以及 API 密钥盐参数。
重大变更
- 此版本添加了 API 密钥盐参数。此参数之前默认为您的 LangSmith 许可证密钥。对于从早期版本更新的用户,您应将此参数设置为您的许可证密钥,以确保向后兼容性。 使用新的 api 密钥盐将使所有现有 api 密钥失效。
- 此版本使 Clickhouse 持久性默认使用 50Gi 的存储空间。您可以通过更改
values.yaml
文件中的clickhouse.statefulSet.persistence.size
值来调整此设置。- 如果您的现有配置尚未配置持久性,您将需要调整现有 pvc 的大小或将
clickhouse.statefulSet.persistence.size
设置为之前的默认值8Gi
。
- 如果您的现有配置尚未配置持久性,您将需要调整现有 pvc 的大小或将
性能和可靠性变更
- 实施了新的异步队列工作器和缓存的令牌编码,以提高摄取跟踪时的性能,从而减少摄取和在 LangSmith UI 中显示之间的延迟。
基础设施变更
- 我们的一些镜像仓库已更新。您可以在我们的
values.yaml
文件中查看根仓库,并且可能需要更新镜像以获取新镜像。 - Clickhouse 持久性现在默认使用 50Gi 的存储空间。您可以通过更改
values.yaml
文件中的clickhouse.statefulSet.persistence.size
值来调整此设置。- 如果您的现有配置无法支持 50Gi,您可能需要调整现有存储类的大小或将
clickhouse.statefulSet.persistence.size
设置为之前的默认值8Gi
。
- 如果您的现有配置无法支持 50Gi,您可能需要调整现有存储类的大小或将
- 整合了 hubBackend 和后端服务。我们现在使用一个服务来服务这两个端点。这不应影响您的应用程序。
管理变更
- 在
values.yml
中添加了 API 密钥盐参数。这可以设置为自定义值,更改它将使所有现有 api 密钥失效。 - 更改了 OAuth 流程以利用访问令牌而不是 OIDC ID 令牌。此更改不应影响最终用户体验。
- 添加了脚本以在自托管环境中启用功能标志,以用于预览预发布功能。详细信息请访问 https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docs/ADD-FEATURE-FLAG.md
弃用通知
随着 0.4 版本的发布
- LangSmith 0.3.x 及更早版本现已进入维护模式,可能只会收到关键安全修复。
2024 年 2 月 21 日当周 - LangSmith v0.3
LangSmith 0.3 提高了性能和可靠性,添加了按元数据和标签分组的改进的监控图表,并添加了成本跟踪。
重大变更
- 此版本将删除 postgres 运行表 - 如果您要从 LangSmith v0.1 进行迁移并希望保留运行数据,您必须先更新到 v0.2 并执行数据迁移。有关更多详细信息,请参阅 https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docs/UPGRADE-0.2.x.md
性能和可靠性变更
- 继续提高摄取跟踪时的性能,从而减少摄取和在 LangSmith UI 中显示之间的延迟。
管理变更
- 无
弃用通知
随着 0.3 版本的发布
- LangSmith 0.2.x 及更早版本现已进入维护模式,可能只会收到关键安全修复。
2024 年 1 月 29 日当周 - LangSmith v0.2
LangSmith 0.2 提高了性能和可靠性,添加了更新的界面用于审查跟踪数据,并增加了对批量处理跟踪的支持。
要求
- 此版本需要
langsmith-sdk
版本 ≥0.0.71
(Python) 和 ≥0.0.56
(JS/TS) 以支持 API 结果分页的更改。旧版本在查询端点时将仅返回前 100 个结果。
重大变更
- 运行中元数据的搜索语法已更改,并将对嵌套 JSON 的支持限制为单层。如果您在跟踪中提供自定义元数据,则应展平元数据结构以使其可搜索(例如
{"user_id": ..., "user_name":...,}
),然后使用has(metadata, '{"user_name": ...}')
进行搜索
性能和可靠性变更
- 提高了摄取跟踪时的性能,从而减少摄取和在 LangSmith UI 中显示之间的延迟。
- 提高了注释标签的更新和删除性能。
- 添加了 API 响应分页。
- 修复了影响自然语言搜索的问题。
基础设施变更
- 添加了
clickhouse
数据库服务。运行结果现在将存储在 ClickHouse 而不是 Postgres 中,以提高性能和可扩展性,并减少运行结果出现在 LangSmith 中的延迟。- 请注意,如果您希望在更新后保留对 Langsmith UI 中运行数据的访问权限,则需要执行数据迁移。有关详细信息,请访问 https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docs/UPGRADE-0.2.x.md
管理变更
- 对于新组织,每个组织的最大用户数从 5 个增加到 100 个。
弃用通知
随着 0.2 版本的发布
- LangSmith 0.1.x 现已进入维护模式,可能只会收到关键安全修复。