在 Kubernetes 上自托管 LangSmith

本页描述如何在 Kubernetes 集群中设置 LangSmith（可观测性、追踪和评估）。您将使用 Helm 来安装 LangSmith 及其依赖项。 完成本页后，您将拥有：

• LangSmith UI 和 API：用于可观测性、追踪和评估。
• 后端服务：（队列、Playground、ACE）。
• 数据存储：（PostgreSQL、Redis、ClickHouse、可选的 Blob 存储）。

对于代理部署：要添加部署功能，请先完成本指南，然后按照启用 LangSmith 部署、Fleet、Insights 和 Polly 操作。 LangChain 已在以下 Kubernetes 发行版上成功测试了 LangSmith：

• Google Kubernetes Engine (GKE)
• Amazon Elastic Kubernetes Service (EKS)：有关架构模式和最佳实践，请参阅 AWS 上的自托管。
• Azure Kubernetes Service (AKS)：有关架构模式和最佳实践，请参阅 AKS 上的自托管。
• OpenShift (4.14+)
• Minikube 和 Kind（用于开发目的）

​

先决条件

确保您已准备好以下工具/项目。部分项目标记为可选：

1. LangSmith 许可证密钥
   1. 您可以从您的 LangChain 代表处获取。有关更多信息，请联系我们的销售团队。
2. API 密钥盐值
   1. 这是一个您可以生成的密钥。它应该是一个随机的字符字符串。
   2. 您可以使用以下命令生成：
   openssl rand -base64 32
   
3. JWT 密钥（可选，但用于基本认证）
   1. 这是一个您可以生成的密钥。它应该是一个随机的字符字符串。
   2. 您可以使用以下命令生成：
   openssl rand -base64 32
   

​

数据库

LangSmith 使用 PostgreSQL 数据库、Redis 缓存和 ClickHouse 数据库来存储追踪数据。默认情况下，这些服务安装在您的 Kubernetes 集群内部。但是，我们强烈建议使用外部数据库。对于 PostgreSQL 和 Redis，最佳选择是您的云提供商的托管服务。 有关更多信息，请参阅以下外部服务设置指南：

• PostgreSQL
• Redis
• ClickHouse

​

Kubernetes 集群要求

1. 您将需要一个可通过 kubectl 访问的正常运行的 Kubernetes 集群。您的集群应满足以下最低要求：
   1. 推荐：至少 16 个 vCPU，64GB 可用内存
      • 您可能需要根据组织规模/使用情况调整我们所有不同服务的资源请求/限制。您可以在自托管规模指南中找到我们的建议。
      • 我们建议使用集群自动扩缩器来处理基于资源使用情况的节点扩缩容。
      • 我们建议设置指标服务器，以便可以启用自动扩缩容。
      • 如果您在集群内运行 Clickhouse，则必须有一个至少具有 4 个 vCPU 和 16GB 内存可分配的节点，因为 ClickHouse 默认会请求此数量的资源。
   2. 集群中有效的动态 PV 配置器或可用的 PV（仅在集群内运行数据库时需要）
      • 为了启用持久化，我们将尝试为在集群内运行的任何数据库配置卷。
      • 如果在集群中使用 PV，我们强烈建议在生产环境中设置备份。
      • 我们强烈建议使用由 SSD 支持的存储类以获得更好的性能。我们建议 7000 IOPS 和 1000 MiB/s 吞吐量。
      • 在 EKS 上，您可能需要确保已安装并配置了 ebs-csi-driver 以进行动态配置。有关更多信息，请参阅 EBS CSI 驱动程序文档。
      您可以通过运行以下命令来验证：
      kubectl get storageclass
      
      输出应显示至少一个支持动态配置的存储类。例如：
      NAME            PROVISIONER                 RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
      gp2 (default)   ebs.csi.eks.amazonaws.com   Delete          WaitForFirstConsumer   true                   161d
      
      我们强烈建议使用支持卷扩展的存储类。这是因为追踪数据可能需要大量磁盘空间，您的卷可能需要随时间调整大小。
      有关存储类的更多信息，请参阅 Kubernetes 文档。
2. Helm
   1. 要安装 helm，请参阅 Helm 文档
3. 出站访问 https://beacon.langchain.com（如果未在离线模式下运行）
   1. LangSmith 需要出站访问 https://beacon.langchain.com 以进行许可证验证和使用情况报告。这是 LangSmith 正常运行所必需的。您可以在出站部分找到有关出站要求的更多信息。

​

配置您的 Helm charts：

1. 创建一个名为 langsmith_config.yaml 的新文件，并包含上一步中的配置选项。
   1. 您可以在 langsmith_config.yaml 文件中设置多个配置选项。您可以在配置部分找到有关特定配置选项的更多信息。
   2. 如果您是 Kubernetes 或 Helm 新手，我们建议从 Helm Chart 仓库示例目录中的示例配置开始：LangSmith helm chart 示例。
   3. 您可以在 Helm Chart 仓库的 values.yaml 文件中查看完整的配置选项列表：LangSmith Helm Chart

2. 至少，您需要设置以下配置选项（使用基本认证）：
   config:
     langsmithLicenseKey: "<your license key>"
     apiKeySalt: "<your api key salt>"
     authType: mixed
     initialOrgAdminEmail: "admin@langchain.dev" # 将此更改为您管理员的电子邮件地址
     basicAuth:
       enabled: true
       initialOrgAdminPassword: "secure-password" # 必须至少 12 个字符长，并且至少包含一个小写字母、一个大写字母和一个符号
       jwtSecret: <your jwt salt> # 用于为基本认证签署 JWT 令牌的随机字符字符串。
   

您还需要指定您使用的任何外部数据库的连接详细信息。

​

部署到 Kubernetes：

1. 验证您可以连接到 Kubernetes 集群（注意：我们强烈建议安装到一个空的命名空间中）
   1. 运行 kubectl get pods 输出应如下所示：
        langsmith-eks-2vauP7wf 21:07:46 No resources found in default namespace.
      
   如果您使用的是默认命名空间以外的命名空间，则需要在 helm 和 kubectl 命令中使用 -n <namespace> 标志来指定命名空间。
2. 确保您已添加 LangChain Helm 仓库。（如果您使用本地 charts，请跳过此步骤）
   helm repo add langchain https://langchain-ai.github.io/helm
   
3. 查找 chart 的最新版本。您可以在 Helm Chart 仓库中找到可用版本。
   • 我们通常建议使用最新版本。
   • 您也可以运行 helm search repo langchain/langsmith --versions 来查看可用版本。输出将如下所示：
    langchain/langsmith              	0.13.0      	0.13.1    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.34      	0.12.73    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.33      	0.12.72    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.32      	0.12.70    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.31      	0.12.69    	Helm chart to deploy the langsmith application ...
   
4. 运行 helm upgrade -i langsmith langchain/langsmith --values langsmith_config.yaml --version <version> -n <namespace> --wait --debug
   • 将 <namespace> 替换为您要部署 LangSmith 的命名空间。
   • 将 <version> 替换为您要从上一步安装的 LangSmith 版本。大多数用户应安装可用的最新版本。
   一旦 helm install 命令运行并成功完成，您应该会看到类似以下的输出：
   NAME: langsmith
   LAST DEPLOYED: Fri Sep 17 21:08:47 2021
   NAMESPACE: langsmith
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None
   
   这可能需要几分钟才能完成，因为它将创建多个 Kubernetes 资源并运行多个作业来初始化数据库和其他服务。
5. 运行 kubectl get pods 输出现在应如下所示（注意，确切的 pod 名称可能因您使用的版本和配置而异）：
    langsmith-ace-backend-98fbd468c-x9gjl         1/1     Running   0
    langsmith-backend-84999bbcb7-dfhml            1/1     Running   0
    langsmith-clickhouse-0                        1/1     Running   0
    langsmith-frontend-79bdcbccc6-r7pt7           1/1     Running   0
    langsmith-ingest-queue-cbb67748-8rl8x         1/1     Running   0
    langsmith-platform-backend-586bd9d97c-2g5mv   1/1     Running   0
    langsmith-playground-859d44b46c-fjqjh         1/1     Running   0
    langsmith-postgres-0                          1/1     Running   0
    langsmith-queue-7bd6cb8b9b-bmvxm              1/1     Running   0
    langsmith-redis-0                             1/1     Running   0
   

​

验证您的部署：

1. 运行 kubectl get services 输出应如下所示：
    NAME                         TYPE           CLUSTER-IP       EXTERNAL-IP                                                                   PORT(S)                      AGE
    langsmith-ace-backend        ClusterIP      172.20.92.210    <none>                                                                        1987/TCP                     1m
    langsmith-backend            ClusterIP      172.20.156.146   <none>                                                                        1984/TCP                     1m
    langsmith-clickhouse         ClusterIP      172.20.250.160   <none>                                                                        8123/TCP,9000/TCP,9363/TCP   1m
    langsmith-frontend           LoadBalancer   172.20.18.173    <external-ip>                                                                 80:30879/TCP,443:31364/TCP   1m
    langsmith-platform-backend   ClusterIP      172.20.95.187    <none>                                                                        1986/TCP                     1m
    langsmith-playground         ClusterIP      172.20.142.121   <none>                                                                        1988/TCP                     1m
    langsmith-postgres           ClusterIP      172.20.226.128   <none>                                                                        5432/TCP                     1m
    langsmith-redis              ClusterIP      172.20.57.248    <none>                                                                        6379/TCP                     1m
   
2. 使用 curl 访问 langsmith-frontend 服务的外部 IP：
   curl <external ip>/api/tenants
   
   预期输出：
   [{"id":"00000000-0000-0000-0000-000000000000","has_waitlist_access":true,"created_at":"2023-09-13T18:25:10.488407","display_name":"Personal","config":{"is_personal":true,"max_identities":1},"tenant_handle":"default"}]
   
3. 在浏览器中访问 langsmith-frontend 服务的外部 IP 应该可以看到/操作 LangSmith UI

​

使用 LangSmith

现在 LangSmith 正在运行，您可以开始使用它来追踪您的代码。您可以在自托管使用指南中找到有关如何使用自托管 LangSmith 的更多信息。 您的 LangSmith 实例现在正在运行，但可能尚未完全设置。 如果您使用了基本配置之一，系统将为您创建一个默认的管理员用户帐户。您可以使用在 langsmith_config.yaml 文件中指定的电子邮件地址和密码登录。 作为下一步，强烈建议您与基础设施管理员合作：

• 为您的 LangSmith 实例设置 DNS 以实现更便捷的访问
• 配置 SSL 以确保提交到 LangSmith 的追踪数据在传输过程中加密
• 使用单点登录配置 LangSmith 以保护您的 LangSmith 实例
• 将 LangSmith 连接到外部 Postgres 和 Redis 实例
• 设置 Blob 存储以存储大文件

查看我们的配置部分以获取有关如何配置这些选项的更多信息。

​

启用 LangSmith 部署、Fleet、Insights 和 Polly

要超越可观测性、追踪和评估，您可以在自托管实例上启用以下功能：

• LangSmith 部署：通过 LangSmith UI 部署、扩展和管理代理。
• Fleet：无需编写代码即可创建和管理 AI 代理。
• Insights：获取对您的追踪和应用数据的 AI 驱动分析。
• Polly：嵌入在 LangSmith 各处的 AI 助手，帮助您分析追踪、线程、提示和实验结果。

请按照启用 LangSmith 部署、Fleet、Insights 和 Polly 指南来设置这些组件。

---