Skip to main content
此功能仅在 Helm chart 版本 0.10.27(应用版本 0.10.74)及更高版本中可用。
许多模型提供商支持通过环境变量设置凭据和其他配置选项。这对于自托管部署非常有用,可以避免在代码或配置文件中硬编码敏感信息。在 LangSmith 中,大多数模型交互是通过 playground 服务完成的,该服务允许您直接在 Pod 上配置许多环境变量。这有助于避免在 UI 中设置凭据。

要求

  • 一个运行着 playground 服务的自托管 LangSmith 实例。
  • 您要配置的提供商必须支持使用环境变量进行配置。请查看提供商的 Chat Model 文档 了解更多信息。
  • 您可能希望附加到 playground 服务的 secrets/roles。
    • 请注意,对于 IRSA,您可能需要授予 langsmith-playground 服务账户必要的权限,以访问云提供商中的 secrets 或 roles。

配置

使用上述参数,您可以配置 LangSmith 实例以使用模型提供商的环境变量。您可以通过修改 LangSmith Helm Chart 安装的 langsmith_config.yaml 文件或 Docker 安装的 docker-compose.yaml 文件来完成此操作。

VertexAI 配置

您可以使用带有 secrets 的环境变量或工作负载身份(GKE 的 GCP 工作负载身份或 EKS 的 AWS IRSA)为 playground 服务配置 VertexAI 凭据。

使用 secrets

使用 Kubernetes secrets 配置 VertexAI 凭据:

使用工作负载身份

您可以配置 playground 服务账户以使用工作负载身份来承担 GCP 服务账户角色,而无需存储凭据。这是 GKE 集群的推荐方法。

GCP 工作负载身份 (GKE)

对于 GKE 集群,请使用 GCP 工作负载身份:
使用 GCP 工作负载身份时,请确保 GCP 服务账户具有所需的 VertexAI 权限(例如 roles/aiplatform.user)。

AWS IRSA (EKS)

对于 EKS 集群,您可以使用 AWS IRSA 来承担 GCP 服务账户角色:
使用 AWS IRSA 时,请确保您的 AWS IAM 角色具有承担 GCP 服务账户角色所需的必要权限,并且 GCP 服务账户具有所需的 VertexAI 权限。