云

• 完全托管的基础设施：LangChain 处理所有基础设施、更新、扩展和维护。
• 从 GitHub 部署：连接您的仓库，只需点击几下即可部署。
• 自动化 CI/CD：构建过程由平台自动处理。
• LangSmith UI：完全访问可观测性、评估、部署管理和 Studio。

​

开始使用

​

云架构与可扩展性

​

区域存储

​

与区域无关的存储

• 通过 Stripe 和 Metronome 处理的支付和账单信息

​

GCP 服务

• LangSmith 前端：提供 LangSmith UI 服务。
• LangSmith 后端：提供 LangSmith API 服务。
• LangSmith 平台后端：处理身份验证和其他高容量任务。（内部服务）
• LangSmith Playground：处理将请求转发到各种 LLM 提供商以实现 Playground 功能。
• LangSmith 队列：处理异步任务。（内部服务）

• Google Cloud Storage (GCS) 用于存储运行输入和输出。
• Google Cloud SQL PostgreSQL 用于事务性工作负载。
• Google Cloud Memorystore for Redis 用于队列和缓存。
• GCP 上的 Clickhouse Cloud 用于跟踪摄取和分析。我们的服务通过私有端点连接到托管在同一 GCP 区域的 Clickhouse Cloud。

• Google Cloud Load Balancer 用于将流量路由到 LangSmith 服务。
• Google Cloud CDN 用于缓存静态资源。
• Google Cloud Armor 用于安全和速率限制。有关我们实施的速率限制的更多信息，请参阅速率限制。

​

AWS 服务

• LangSmith 前端：提供 LangSmith UI 服务。
• LangSmith 后端：提供 LangSmith API 服务。
• LangSmith 平台后端：处理身份验证和其他高容量任务。（内部服务）
• LangSmith Playground：处理将请求转发到各种 LLM 提供商以实现 Playground 功能。
• LangSmith 队列：处理异步任务。（内部服务）

• Amazon S3 用于存储运行输入和输出。
• Amazon RDS for PostgreSQL 用于事务性工作负载。
• Amazon ElastiCache for Redis 用于队列和缓存。
• 通过 AWS PrivateLink 在 us-east-2 上的 ClickHouse Cloud 用于跟踪摄取和分析，与上面的区域存储表一致。

• Elastic Load Balancing (Network Load Balancers) 和 Istio ingress 用于将流量路由到 LangSmith 服务。文档化的 API 速率限制在 Istio ingress 网关处执行。详情请参阅速率限制。
• Amazon CloudFront 用于缓存静态资源（包括 Web UI 主机名 aws.smith.langchain.com）。
• CloudFront 上的 AWS WAF 用于边缘的托管规则组（例如，AWS Managed Rules 通用保护和 Bot 控制）。

​

IP 地址白名单

​

从 LangChain SaaS 出站

​

进入 LangChain SaaS 的入站流量

​

私有连接（企业版）

​

AWS PrivateLink

​

端点服务名称

​

设置

aws ec2 create-vpc-endpoint \
  --vpc-id <YOUR_VPC_ID> \
  --service-name <SERVICE_NAME_FROM_TABLE_ABOVE> \
  --vpc-endpoint-type Interface \
  --subnet-ids <YOUR_SUBNET_IDS> \
  --security-group-ids <YOUR_SECURITY_GROUP_ID> \
  --region <YOUR_REGION>

​

配置 DNS

aws ec2 describe-vpc-endpoints \
  --vpc-endpoint-ids <YOUR_ENDPOINT_ID> \
  --query 'VpcEndpoints[0].DnsEntries[0].DnsName' \
  --output text --region <YOUR_REGION>

aws route53 create-hosted-zone \
  --name aws.api.smith.langchain.com \
  --vpc VPCRegion=<YOUR_REGION>,VPCId=<YOUR_VPC_ID> \
  --caller-reference langsmith-privatelink-$(date +%s) \
  --hosted-zone-config PrivateZone=true

aws route53 change-resource-record-sets \
  --hosted-zone-id <HOSTED_ZONE_ID> \
  --change-batch '{
    "Changes": [{
      "Action": "CREATE",
      "ResourceRecordSet": {
        "Name": "aws.api.smith.langchain.com",
        "Type": "CNAME",
        "TTL": 300,
        "ResourceRecords": [{"Value": "<ENDPOINT_DNS_NAME>"}]
      }
    }]
  }'

​

验证连接

curl https://aws.api.smith.langchain.com/ok

​

GCP Private Service Connect

​

服务附件 URI

​

PSC 域名

​

设置

​

创建 PSC 端点

# 创建 PSC 端点
gcloud compute forwarding-rules create langsmith-psc-endpoint \
  --region=<REGION> \
  --network=<YOUR_VPC_NETWORK> \
  --subnet=<YOUR_SUBNET> \
  --target-service-attachment=projects/langchain-prod/regions/<REGION>/serviceAttachments/gateway-psc-publish \
  --load-balancing-scheme=""

# 获取分配的 IP 地址
gcloud compute forwarding-rules describe langsmith-psc-endpoint \
  --region=<REGION> \
  --format="value(IPAddress)"

​

配置 DNS

# 创建私有 DNS 区域
gcloud dns managed-zones create langsmith-psc \
  --dns-name="<REGION>.p.api.smith.langchain.com." \
  --visibility=private \
  --networks=<YOUR_VPC_NETWORK>

# 添加指向 PSC 端点 IP 的 A 记录
gcloud dns record-sets create "<REGION>.p.api.smith.langchain.com." \
  --zone=langsmith-psc \
  --type=A \
  --rrdatas=<PSC_ENDPOINT_IP>

​

验证连接

curl https://<REGION>.p.api.smith.langchain.com/ok

​

API 速率限制

• 速率限制表示为 count / interval，其中 count 是在间隔（以秒为单位）内允许的请求数量。例如，2000 / 10 表示每 10 秒 2000 个请求。
• 当端点列中未指定 HTTP 方法时，速率限制适用于该端点的所有 HTTP 方法。
• 当列出了特定方法（例如 POST、GET）时，速率限制仅适用于该方法。

​

速率限制类别

• 高吞吐量：用于核心操作（如身份验证、元数据和反馈）的通用高容量端点。
• 仓库：仓库和提示管理操作。
• 运行摄取：用于可观测性的单个跟踪/运行摄取端点。
• 图表：图表生成和可视化端点。
• 多部分摄取：通过多部分上传进行批量运行摄取，用于高容量跟踪。
• 运行查询 (API)：基于 API 密钥的运行查询操作，对复杂查询有更严格的限制。
• 运行查询 (用户)：基于用户的运行查询操作，为交互式使用提供更高的限制。
• 生成：AI 驱动的代码和内容生成端点（限制以防止滥用）。
• 提交：提示版本控制和提交操作。
• 删除：会话删除和工作流触发操作。
• 运行查找：通过 UUID 检索特定运行。
• 示例：获取数据集示例用于少样本提示。
• 默认 (API 密钥)：未匹配特定模式的已认证 API 请求的后备速率限制。
• 默认 (用户)：未匹配特定模式的已认证用户请求的后备速率限制。
• 公共下载：用于共享资源的高容量公共下载端点。
• 统计：运行统计和分析端点（适用特定区域限制）。
• 公共 (默认)：未认证公共访问的默认速率限制。