云架构和可扩展性
本节仅适用于在 https://smith.langchain.com 和 https://eu.smith.langchain.com 提供的云托管 LangSmith 服务。
有关自托管 LangSmith 解决方案的信息，请参阅自托管文档。
LangSmith 部署在 Google Cloud Platform (GCP) 上，旨在实现高度可扩展性。许多客户在 LangSmith 上运行生产工作负载，用于 LLM 应用程序的可观测性和评估。
架构
美国地区的 LangSmith 服务部署在 GCP 的 us-central1（爱荷华州）区域。
注意： 欧盟地区的 LangSmith 服务现已推出（截至 2024 年 7 月中旬），并部署在 GCP 的 europe-west4（荷兰）区域。如果您对该区域的企业计划感兴趣，请通过 sales@langchain.dev 与我们联系。
区域存储
下表中的资源和服务存储在与注册 URL 对应的位置（美国或欧盟）。云托管 LangSmith 使用 Supabase 进行身份验证/授权，并使用 ClickHouse Cloud 作为数据仓库。
| 美国 | 欧盟 | |
|---|---|---|
| URL | https://smith.langchain.com | https://eu.smith.langchain.com |
| API URL | https://api.smith.langchain.com | https://eu.api.smith.langchain.com |
| GCP | us-central1 (Iowa) | europe-west4 (Netherlands) |
| Supabase | AWS us-east-1 (N. Virginia) | AWS eu-central-1 (Germany) |
| ClickHouse Cloud | us-central1 (Iowa) | europe-west4 (Netherlands) |
| LangGraph Cloud | us-central1 (Iowa) | europe-west4 (Netherlands) |
有关更多信息，请参阅区域常见问题解答。
区域独立存储
此处列出的数据仅存储在美国
- 使用 Stripe 和 Metronome 的付款和账单信息
GCP 服务
LangSmith 由以下服务组成，所有服务都部署在 Google Kubernetes Engine (GKE) 上
- LangSmith 前端：服务于 LangSmith UI。
- LangSmith 后端：服务于 LangSmith API。
- LangSmith 平台后端：处理身份验证和其他高容量任务。（内部服务）
- LangSmith Playground：处理将请求转发到各种 LLM 提供商以实现 Playground 功能。
- LangSmith 队列：处理异步任务。（内部服务）
LangSmith 使用以下 GCP 存储服务
- Google Cloud Storage (GCS) 用于运行输入和输出。
- Google Cloud SQL PostgreSQL 用于事务性工作负载。
- Google Cloud Memorystore for Redis 用于排队和缓存。
- GCP 上的 Clickhouse Cloud 用于跟踪摄取和分析。我们的服务通过私有端点连接到 Clickhouse Cloud，后者托管在同一 GCP 区域中。
我们使用的一些其他 GCP 服务包括
- Google Cloud Load Balancer 用于将流量路由到 LangSmith 服务。
- Google Cloud CDN 用于缓存静态资源。
- Google Cloud Armor 用于安全性和速率限制。有关我们实施的速率限制的更多信息，请参阅本指南。
可扩展性
LangSmith 旨在实现可扩展性和高性能。
根据 2024 年 2 月进行的负载测试，LangSmith 可以轻松处理每分钟 50 万次以上的运行（跨度）。我们预计，通过此后进行的优化，LangSmith 每分钟可以处理 75 万次以上的运行。
IP 地址白名单
所有离开 LangSmith 服务的流量都将通过 NAT 网关路由。所有流量都将显示为源自以下 IP 地址
| 美国 | 欧盟 |
|---|---|
| 34.59.65.97 | 34.13.192.67 |
| 34.67.51.221 | 34.147.105.64 |
| 34.46.212.37 | 34.90.22.166 |
| 34.132.150.88 | 34.147.36.213 |
| 35.188.222.201 | 34.32.137.113 |
| 34.58.194.127 | 34.91.238.184 |
| 34.59.97.173 | 35.204.101.241 |
| 104.198.162.55 | 35.204.48.32 |
如果连接到您自己的 AzureOpenAI 服务或 Playground 或在线评估可能需要的其他端点，则将这些 IP 地址列入白名单可能会有所帮助。