在 Kubernetes 上自托管 LangSmith

需要企业许可证

自托管 LangSmith 是为我们最大型、对安全性最敏感的客户设计的企业计划的附加组件。有关更多详细信息，请参阅我们的定价页面，如果您想获得许可证密钥以在您的环境中试用 LangSmith，请通过 sales@langchain.dev 与我们联系。

本指南将引导您完成将 LangSmith 部署到 Kubernetes 集群的过程。我们将使用 Helm 来安装 LangSmith 及其依赖项。

我们已在以下 Kubernetes 发行版上成功测试了 LangSmith

Google Kubernetes Engine (GKE)
Amazon Elastic Kubernetes Service (EKS)
Azure Kubernetes Service (AKS)
OpenShift
Minikube 和 Kind（用于开发目的）

先决条件

确保您已准备好以下工具/项目。某些项目标记为可选

您可以访问的正常工作的 Kubernetes 集群，通过 kubectl。您的集群应具有以下最低要求
1. 推荐：至少 16 个 vCPU，可用 64GB 内存
  - 您可能需要根据组织规模/使用情况调整我们所有不同服务的资源请求/限制
  - 我们建议使用集群自动扩缩器来处理基于资源使用情况的节点向上/向下扩缩
  - 我们建议设置指标服务器，以便可以启用自动扩缩
  - 您必须有一个节点，至少有 4 个 vCPU 和 16GB 的 可分配 内存，因为 ClickHouse 默认将请求此数量的资源。
2. 集群上可用的有效动态 PV 供应器或 PV。您可以通过运行以下命令来验证这一点
  - 我们将使用 PostgreSQL 数据库、Redis 和 ClickHouse 来存储跟踪数据。这些服务需要持久存储。
  - 如果在您的集群中使用 PV，我们强烈建议在生产环境中设置备份。
  - 我们强烈建议使用 SSD 支持的存储类以获得更好的性能。我们建议 7000 IOPS 和 1000 MiB/s 吞吐量。
kubectl get storageclass
输出应显示至少一个存储类，其供应器支持动态配置。例如
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE gp2 (default) kubernetes.io/aws-ebs Delete WaitForFirstConsumer true 161d
注意
我们强烈建议使用支持卷扩展的存储类。这是因为跟踪数据可能需要大量磁盘空间，并且您的卷可能需要随着时间的推移调整大小。

有关存储类的更多信息，请参阅 Kubernetes 文档。
Helm
1. 要安装 helm，请参阅 Helm 文档
LangSmith 许可证密钥
1. 您可以从您的 Langchain 代表处获得此密钥。有关更多信息，请通过 sales@langchain.dev 与我们联系。
Api 密钥 Salt
1. 这是一个您可以生成的密钥。它应该是一个随机的字符串。
2. 您可以使用以下命令生成此密钥
openssl rand -base64 32
JWT 密钥（可选，但用于基本身份验证）
1. 这是一个您可以生成的密钥。它应该是一个随机的字符串。
2. 您可以使用以下命令生成此密钥
openssl rand -base64 32
出口到 https://beacon.langchain.com（如果不是在离线模式下运行）
1. LangSmith 需要出口到 https://beacon.langchain.com 以进行许可证验证和使用情况报告。这是 LangSmith 正常运行所必需的。您可以在出口部分找到有关出口要求的更多信息。
配置
1. 您可以在 langsmith_config.yaml 文件中设置多个配置选项。您可以在配置部分找到有关特定配置选项的更多信息。
2. 如果您是 Kubernetes 或 Helm 的新手，我们建议从 Helm Chart 存储库的 examples 目录中的示例配置之一开始：LangSmith helm chart 示例。
3. 您可以在 Helm Chart 存储库的 values.yaml 文件中查看配置选项的完整列表：LangSmith Helm Chart

配置您的 Helm Charts:

创建一个名为 langsmith_config.yaml 的新文件，其中包含上一步中的配置选项。

至少，您需要设置以下配置选项（使用基本身份验证）

config:
  langsmithLicenseKey: "<your license key>"
  apiKeySalt: "<your api key salt>"
  authType: mixed
  basicAuth:
    enabled: true
    initialOrgAdminEmail: "admin@langchain.dev" # Change this to your admin email address
    initialOrgAdminPassword: "secure-password" # Must be at least 12 characters long and have at least one lowercase, uppercase, and symbol
    jwtSecret: <your jwt salt> # A random string of characters used to sign JWT tokens for basic auth.

部署到 Kubernetes:

验证您是否可以连接到您的 Kubernetes 集群（注意：我们强烈建议安装到空的命名空间中）

运行 kubectl get pods

输出应如下所示

kubectl get pods                                                                                                                                                                     ⎈ langsmith-eks-2vauP7wf 21:07:46
No resources found in default namespace.

确保您已添加 Langchain Helm 仓库。（如果您使用本地 charts，请跳过此步骤）

helm repo add langchain https://github.langchain.ac.cn/helm/ "langchain" 已添加到您的仓库

命名空间

如果您使用的命名空间不是默认命名空间，您需要在 helm 和 kubectl 命令中使用 -n <namespace 标志来指定命名空间。

运行 helm install langsmith langchain/langsmith --values langsmith_config.yaml --version <version> --debug
- 将 <your-namespace> 替换为您要将 LangSmith 部署到的命名空间。
- 将 <version> 替换为您要部署的 LangSmith 版本。您可以在 Helm Chart 存储库中找到可用版本。我们通常建议使用最新版本。输出应如下所示
NAME: langsmith LAST DEPLOYED: Fri Sep 17 21:08:47 2021 NAMESPACE: langsmith STATUS: deployed REVISION: 1 TEST SUITE: None

运行 kubectl get pods 输出现在应如下所示

langsmith-backend-6ff46c99c4-wz22d       1/1     Running   0          3h2m
langsmith-frontend-6bbb94c5df-8xrlr      1/1     Running   0          3h2m
langsmith-hub-backend-5cc68c888c-vppjj   1/1     Running   0          3h2m
langsmith-playground-6d95fd8dc6-x2d9b    1/1     Running   0          3h2m
langsmith-postgres-0                     1/1     Running   0          9h
langsmith-queue-5898b9d566-tv6q8         1/1     Running   0          3h2m
langsmith-redis-0                        1/1     Running   0          9h

验证您的部署:

运行 kubectl get services

输出应如下所示

NAME                    TYPE           CLUSTER-IP       EXTERNAL-IP                                                               PORT(S)        AGE
langsmith-backend       ClusterIP      172.20.140.77    <none>                                                                    1984/TCP       35h
langsmith-frontend      LoadBalancer   172.20.253.251   <external ip>                                                             80:31591/TCP   35h
langsmith-hub-backend   ClusterIP      172.20.112.234   <none>                                                                    1985/TCP       35h
langsmith-playground    ClusterIP      172.20.153.194   <none>                                                                    3001/TCP       9h
langsmith-postgres      ClusterIP      172.20.244.82    <none>                                                                    5432/TCP       35h
langsmith-redis         ClusterIP      172.20.81.217    <none>                                                                    6379/TCP       35h

Curl langsmith-frontend 服务的外部 IP

curl <external ip>/api/tenants
[{"id":"00000000-0000-0000-0000-000000000000","has_waitlist_access":true,"created_at":"2023-09-13T18:25:10.488407","display_name":"Personal","config":{"is_personal":true,"max_identities":1},"tenant_handle":"default"}]%

在浏览器上访问 langsmith-frontend 服务的外部 IP

LangSmith UI 应该可见/可操作

使用 LangSmith

现在 LangSmith 正在运行，您可以开始使用它来跟踪您的代码。您可以在自托管使用指南中找到有关如何使用自托管 LangSmith 的更多信息。

您的 LangSmith 实例现在正在运行，但可能尚未完全设置。

如果您使用了基本配置之一，您可能已部署了无身份验证配置。在这种状态下，没有身份验证或用户帐户或 API 密钥的概念，并且只要主机名传递给 LangChain 跟踪器/LangSmith SDK，就可以直接提交跟踪数据，而无需 API 密钥。

作为下一步，强烈建议您与您的基础设施管理员合作，以

为您的 LangSmith 实例设置 DNS 以方便访问
配置 SSL 以确保传输中加密提交给 LangSmith 的跟踪数据
配置 LangSmith 以进行 oauth 身份验证或基本身份验证以保护您的 LangSmith 实例
将 LangSmith 连接到安全的 Postgres 和 Redis 实例

在 Kubernetes 上自托管 LangSmith

先决条件

配置您的 Helm Charts:

部署到 Kubernetes:

验证您的部署:

使用 LangSmith

此页是否对您有帮助？

您可以留下详细的反馈在 GitHub 上.

先决条件​

配置您的 Helm Charts:​

部署到 Kubernetes:​

验证您的部署:​

使用 LangSmith​

此页是否对您有帮助？

您可以留下详细的反馈 在 GitHub 上.

先决条件

配置您的 Helm Charts:

部署到 Kubernetes:

验证您的部署:

使用 LangSmith

您可以留下详细的反馈在 GitHub 上.