云架构与可伸缩性

云管理解决方案

本节仅适用于在 https://smith.langchain.com 和 https://eu.smith.langchain.com 提供的云管理型 LangSmith 服务。

有关自托管 LangSmith 解决方案的信息，请参阅自托管文档。

LangSmith 部署在 Google Cloud Platform (GCP) 上，旨在实现高可伸缩性。许多客户在 LangSmith 上运行生产工作负载，用于 LLM 应用程序的可观测性和评估。

架构

基于美国的 LangSmith 服务部署在 GCP 的 us-central1 (爱荷华州) 区域。

注意：基于欧盟的 LangSmith 服务现已推出（截至 2024 年 7 月中旬），并部署在 GCP 的 europe-west4 (荷兰) 区域。如果您对此区域的企业计划感兴趣，请通过 sales@langchain.dev 联系我们。

区域存储

此表中的资源和服务存储在与注册时使用的 URL (美国或欧盟) 对应的位置。云管理型 LangSmith 使用 Supabase 进行认证/授权，并使用 ClickHouse Cloud 作为数据仓库。

	美国	欧盟
URL	https://smith.langchain.com	https://eu.smith.langchain.com
API URL	https://api.smith.langchain.com	https://eu.api.smith.langchain.com
GCP	us-central1 (爱荷华州)	europe-west4 (荷兰)
Supabase	AWS us-east-1 (弗吉尼亚北部)	AWS eu-central-1 (德国)
ClickHouse Cloud	us-central1 (爱荷华州)	europe-west4 (荷兰)
LangGraph Cloud	us-central1 (爱荷华州)	europe-west4 (荷兰)

有关更多信息，请参阅区域常见问题。

区域无关存储

此处列出的数据仅存储在美国

• 使用 Stripe 和 Metronome 的支付与账单信息

GCP 服务

LangSmith 由以下服务组成，所有服务均部署在 Google Kubernetes Engine (GKE) 上

• LangSmith 前端：提供 LangSmith UI。
• LangSmith 后端：提供 LangSmith API。
• LangSmith 平台后端：处理认证和其他高并发任务。(内部服务)
• LangSmith Playground：处理将请求转发到各种 LLM 提供商以实现 Playground 功能。
• LangSmith 队列：处理异步任务。(内部服务)

LangSmith 使用以下 GCP 存储服务

• Google Cloud Storage (GCS) 用于运行输入和输出。
• Google Cloud SQL PostgreSQL 用于事务性工作负载。
• Google Cloud Memorystore for Redis 用于队列和缓存。
• GCP 上的 Clickhouse Cloud 用于痕迹摄取和分析。我们的服务通过私有端点连接到 Clickhouse Cloud，它托管在同一个 GCP 区域。

我们还使用一些额外的 GCP 服务，包括

• Google Cloud Load Balancer 用于将流量路由到 LangSmith 服务。
• Google Cloud CDN 用于缓存静态资产。
• Google Cloud Armor 用于安全和速率限制。有关我们强制执行的速率限制的更多信息，请参阅此指南。

IP 地址白名单

所有离开 LangSmith 服务的流量都将通过 NAT 网关路由。所有流量将显示为源自以下 IP 地址

美国	欧盟
34.59.65.97	34.13.192.67
34.67.51.221	34.147.105.64
34.46.212.37	34.90.22.166
34.132.150.88	34.147.36.213
35.188.222.201	34.32.137.113
34.58.194.127	34.91.238.184
34.59.97.173	35.204.101.241
104.198.162.55	35.204.48.32

如果连接到您自己的 AzureOpenAI 服务或 Playground 或在线评估可能需要的其他端点，将这些 IP 地址列入白名单可能会有所帮助。