LangSmith 发行说明
注意
提醒:自 LangSmith Helm v0.8 版本发布以来,以 ls__
为前缀的 API 密钥已被禁用,取而代之的是 lsv2...
样式的密钥。 更多信息请参阅管理概念指南。
2024 年 10 月 28 日这一周 - LangSmith v0.8
发行说明可在我们的新更新日志中查看。
2024 年 8 月 26 日这一周 - LangSmith v0.7
此版本增加了一些新功能,改进了线程视图的性能,并增加了密码认证支持以及在 LangSmith 跟踪上设置默认生存时间(TTL)的支持。
v0.6.0 版本以来的新功能
- 用于在 LangSmith 中组织工作区的资源标签
- 生成合成示例以增强 LangSmith 数据集
- 增强的跟踪比较视图和可保存的自定义跟踪过滤器
- 定义、验证和更新数据集模式
- 多个标注者可以在 LangSmith 中审查一次运行
- 支持在跟踪视图中过滤运行
- 增强的键值搜索
- 运行规则的 Webhook 通知
- 支持在 LangSmith Playground 中并排比较多个提示和模型配置
- 保存提示时支持存储模型和配置
性能与可靠性变更
- 改进了超大型项目的线程视图性能
- 改进了 Clickhouse 数据库临时不可用时的错误处理
基础设施变更
- 增加了用于跟踪生存时间(TTL)的 Helm 配置选项。设置后,此设置将仅适用于新摄入的跟踪,并且更改此设置后,*跟踪将在 TTL 到期后从 Clickhouse 中自动且不可逆地删除。* 更多详情请参阅 TTL 和数据保留。您可能还需要更改/审计您的项目默认 TTL 设置。
- 增加了启用
blobStorage
的配置选项。这将把运行的输入、输出、错误、清单、额外信息和事件移动到 blob 存储,以减轻 ClickHouse 的负载/减少磁盘使用。目前仅支持 S3 和 GCP。更多详情请参阅 启用 Blob 存储。 - 所有资源的默认资源/限制。请注意,您可能需要调整您的集群设置。
- 默认情况下,我们将使用
- 16 CPU
- 64 GB 内存
- 您将需要一个能够容纳 4 CPU/16 GB 内存的节点
- 要覆盖这些设置,您可以手动配置资源请求/限制
- 默认情况下,我们将使用
- 默认情况下开启了捆绑的
Redis
持久化。如果您正在使用捆绑的redis
版本,并且之前没有开启持久化,您可能需要重新创建您的Redis
StatefulSet。 - 更新了
clickhouseMigration
命令,使其在运行迁移之前等待 ClickHouse 初始化。 <domain>/api-hub url
已弃用。现在您可以将<domain>/api
URL 用于所有 API 交互。此功能将在 v0.8 版本中完全移除,请务必迁移所有使用旧 URL 的应用程序。- 为
queue
pods 添加了健康检查。 nginx
配置更新。- 移除了 OpenAI 密钥配置选项。
管理员变更
- 增加了对简单密码认证的支持。更多详情请参阅 邮箱/密码(即基本认证)
- 请注意,目前没有从简单认证到 OIDC 认证的迁移路径——我们正在为后续版本开发此迁移路径。
- 增加了禁用个人组织的支持。
- 增加了禁用组织创建的支持。
- 增加了配置选项,允许工作区管理员添加工作区用户。
- 我们已将以
ls__
为前缀的 v1 API 密钥的弃用时间推迟到 LangSmith v0.8 版本发布(预计在 10 月 1 日或前后)。请您尽快将 API 密钥更新为以lsv2__sk
为前缀的服务密钥。
弃用通知
随着 v0.7 版本的发布
- LangChain Hub SDK 已弃用,其功能已并入 LangSmith SDK。
- LangSmith v0.6.x 及更早版本现在处于维护模式,可能只接收关键安全修复。
2024 年 6 月 17 日这一周 - LangSmith v0.6
LangSmith v0.6 改进了运行规则的性能和可靠性,增加了在组织内支持多个工作区的功能,支持 Playground 中的自定义模型,并对评估功能进行了重大增强。
v0.5 版本以来的新功能
- 数据集拆分,用于评估和过滤/编辑数据集示例。 了解更多...
- 您现在可以在 LangSmith 中运行多次实验重复。 了解更多...
- 开箱即用的在线评估器提示,用于捕获 RAG 中的不良检索和幻觉。 了解更多...
- 无需句柄即可管理私有提示。 了解更多...
- LangSmith 中的工作区,用于改进协作与组织。 了解更多...
- 从头开始进入 Playground,而不是从跟踪或提示进入。 了解更多...
- 在线评估器提示的变量映射。 了解更多...
- Playground 中的自定义模型支持。 了解更多...
性能与可靠性变更
- 改进了运行规则的性能,特别是在规则执行可能超出规则执行间隔的情况下。
- 将运行规则间隔从 5 分钟缩短到 1 分钟,从而更频繁地应用规则
- 改进了通过 SDK 查询 Hub 时的性能。注意:要利用这些改进,需要 Hub SDK 的 v0.1.20 或更高版本。
基础设施变更
- [仅限 Docker Compose] 默认端口已从 80 更改为 1980。
- [Helm] Playground 镜像启动命令已更改。如果您正在使用自定义 Helm chart,您可能需要审查 Playground 的配置并相应调整您的 Helm 配置。
- [Helm] 增加了在
values.yaml
文件中配置探针的能力。这允许您调整 LangSmith 服务的就绪性和活跃性探针。如果您更改了容器端口,您可能需要调整这些设置。 - [Helm] 添加了 ArgoCD
PostSync
注解以挂钩作业,确保作业在 ArgoCD 中正确运行。如果您之前是手动设置此注解,您可能需要将其移除。 - ClickHouse 已从 v23.9 更新到 v24.2。注意:仅适用于使用 LangSmith 提供的 ClickHouse 的环境。
管理员变更
- 增加了对工作区的支持。更多详情请参阅管理概念指南。
- 在
values.yaml
中添加了全局设置orgCreationDisabled
,以禁用新组织的创建。 - 增加了对 Azure OpenAI 模型提供商的自定义 TLS 证书支持。更多详情请参阅操作指南。
弃用通知
随着 v0.6 版本的发布
- LangSmith v0.5.x 及更早版本现在处于维护模式,可能只接收关键安全修复。
2024 年 5 月 13 日这一周 - LangSmith v0.5
LangSmith v0.5 改进了性能和可靠性,增加了改进回归测试、生产监控和自动化的功能,并实现了基于角色的访问控制 (RBAC)。
破坏性变更
- 我们将放弃对 API 密钥的支持,转而支持个人访问令牌(PATs)和服务密钥。我们建议所有新的集成使用 PATs 和服务密钥。自 LangSmith Helm v0.7 版本(计划于 2024 年 8 月发布)起,以
ls__
为前缀的 API 密钥将不再可用。
v0.4 版本以来的新功能
- 基于角色的访问控制。请参阅:https://blog.langchain.ac.cn/access-control-updates-for-langsmith/
- 改进的回归测试体验。请参阅:https://blog.langchain.ac.cn/regression-testing/
- 改进的生产监控和自动化:请参阅:https://blog.langchain.ac.cn/langsmith-production-logging-automations/
性能与可靠性变更
- 将摄取、会话删除和自动化作业拆分到独立的资源池中执行。
基础设施变更
- 自 LangSmith v0.4 起,ClickHouse 持久化默认使用
50Gi
存储空间。您可以通过更改values.yaml
文件中的clickhouse.statefulSet.persistence.size
值进行调整。- 如果您现有配置不支持 50Gi,您可能需要调整现有存储类的大小,或将
clickhouse.statefulSet.persistence.size
设置回之前的默认值8Gi
。 - 强烈建议您监控 ClickHouse 卷的存储使用情况,以确保卷不会接近满容量,这可能会导致运行摄取行为异常。
- 如果您现有配置不支持 50Gi,您可能需要调整现有存储类的大小,或将
- 内部使用了新的 Platform-Backend 服务。此服务也使用其自己的镜像。您可能需要相应地调整您的 helm
values
文件。
管理员变更
弃用通知
随着 v0.5 版本的发布
- LangSmith v0.4.x 及更早版本现在处于维护模式,可能只接收关键安全修复。
2024 年 3 月 25 日这一周 - LangSmith v0.4
LangSmith 0.4 改进了性能和可靠性,实现了一个新的异步队列工作程序以优化运行摄取,并引入了 API 密钥盐参数。
破坏性变更
- 此版本增加了一个 API 密钥盐参数。该参数之前默认为您的 LangSmith 许可证密钥。对于从早期版本更新的用户,您应该将此参数设置为您的许可证密钥,以确保向后兼容性。 使用新的 API 密钥盐将使所有现有 API 密钥失效。
- 此版本使 ClickHouse 持久化默认使用 50Gi 存储空间。您可以通过更改
values.yaml
文件中的clickhouse.statefulSet.persistence.size
值进行调整。- 如果您现有配置尚未配置持久化,您将需要调整现有 PVC 的大小,或将
clickhouse.statefulSet.persistence.size
设置为之前的默认值8Gi
。
- 如果您现有配置尚未配置持久化,您将需要调整现有 PVC 的大小,或将
性能与可靠性变更
- 实现了一个新的异步队列工作程序和缓存令牌编码,以提高跟踪摄取时的性能,减少在 LangSmith UI 中摄取和显示之间的延迟。
基础设施变更
- 我们的一些镜像仓库已更新。您可以在我们的
values.yaml
文件中查看根仓库,并且可能需要更新镜像以获取新镜像。 - ClickHouse 持久化现在默认使用 50Gi 存储空间。您可以通过更改
values.yaml
文件中的clickhouse.statefulSet.persistence.size
值进行调整。- 如果您现有配置不支持 50Gi,您可能需要调整现有存储类的大小,或将
clickhouse.statefulSet.persistence.size
设置回之前的默认值8Gi
。
- 如果您现有配置不支持 50Gi,您可能需要调整现有存储类的大小,或将
- 整合了 hubBackend 和 backend 服务。我们现在使用一个服务来处理这两个端点。这应该不会影响您的应用程序。
管理员变更
- 在
values.yml
中添加了 API 密钥盐参数。此参数可以设置为自定义值,更改它将使所有现有 API 密钥失效。 - 将 OAuth 流程更改为利用访问令牌而不是 OIDC ID 令牌。此更改不应影响最终用户体验。
- 增加了脚本,用于在自托管环境中启用功能标志,以便预览预发布功能。详细信息可在 https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docs/ADD-FEATURE-FLAG.md 查看。
弃用通知
随着 0.4 版本的发布
- LangSmith 0.3.x 及更早版本现在处于维护模式,可能只接收关键安全修复。
2024 年 2 月 21 日这一周 - LangSmith v0.3
LangSmith 0.3 改进了性能和可靠性,增加了按元数据和标签分组的改进监控图表,并增加了成本跟踪功能。
破坏性变更
- 此版本将删除 PostgreSQL 运行表——如果您正在从 LangSmith v0.1 进行迁移并希望保留运行数据,您必须首先更新到 v0.2 并执行数据迁移。更多详情请参阅 https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docs/UPGRADE-0.2.x.md。
性能与可靠性变更
- 持续改进跟踪摄取时的性能,减少 LangSmith UI 中摄取和显示之间的延迟。
管理员变更
- 无
弃用通知
随着 0.3 版本的发布
- LangSmith 0.2.x 及更早版本现在处于维护模式,可能只接收关键安全修复。
2024 年 1 月 29 日这一周 - LangSmith v0.2
LangSmith 0.2 改进了性能和可靠性,增加了用于审查跟踪数据的更新界面,并增加了对跟踪批处理的支持。
要求
- 此版本要求
langsmith-sdk
版本 ≥0.0.71
(Python) 和 ≥0.0.56
(JS/TS),以支持 API 结果分页的更改。旧版本在查询端点时将只返回前 100 个结果。
破坏性变更
- 运行中元数据的搜索语法已更改,并将嵌套 JSON 的支持限制为单个级别。如果您在跟踪中提供自定义元数据,您应该展平您的元数据结构以使其可搜索(例如
{"user_id": ..., "user_name":...,}
),然后使用has(metadata, '{"user_name": ...}')
进行搜索。
性能与可靠性变更
- 改进了跟踪摄取时的性能,减少 LangSmith UI 中摄取和显示之间的延迟。
- 改进了标注标签的更新和删除性能。
- 增加了 API 响应的分页功能。
- 修复了影响自然语言搜索的问题。
基础设施变更
- 增加了
ClickHouse
数据库服务。运行结果现在将存储在 ClickHouse 而不是 Postgres 中,以提高性能和可伸缩性,并减少运行在 LangSmith 中显示所需的时间延迟。- 请注意,如果您希望在更新后在 LangSmith UI 中保留运行数据访问权限,则需要执行数据迁移。详细信息可在 https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docs/UPGRADE-0.2.x.md 查看。
管理员变更
- 对于新组织,每个组织的最大用户数已从 5 增加到 100。
弃用通知
随着 0.2 版本的发布
- LangSmith 0.1.x 现在处于维护模式,可能只接收关键安全修复。