连接到外部 ClickHouse 数据库

• LangSmith 托管的 ClickHouse
• 直接或通过云提供商市场配置 ClickHouse Cloud：
  • Azure Marketplace
  • Google Cloud Marketplace
  • AWS Marketplace
• 在您的云提供商的虚拟机上

​

要求

• 一个已配置的 ClickHouse 实例，您的 LangSmith 应用程序将能够访问该实例（有关选项，请参见上文）。
• 一个对 ClickHouse 数据库具有管理员访问权限的用户。此用户将用于创建必要的表、索引和视图。
• 我们支持独立 ClickHouse 和外部管理的集群部署。对于集群部署，请确保所有节点运行相同的版本。请注意，捆绑的 ClickHouse 安装不支持集群设置。
• 我们仅支持 ClickHouse 版本 >= 23.9。使用 ClickHouse 版本 >= 24.2 需要 LangSmith v0.6 或更高版本。

• 我们依赖于在您的 ClickHouse 实例上设置的几个配置参数。这些参数详述如下：

<profiles>
  <default>
      <async_insert>1</async_insert> # 开启异步插入
      <async_insert_max_data_size>25000000</async_insert_max_data_size> # 在 25MB 后将数据刷新到磁盘。您可能需要根据工作负载调整此值。
      <wait_for_async_insert>0</wait_for_async_insert> # 默认禁用等待异步插入
      <parallel_view_processing>1</parallel_view_processing> # 启用并行视图处理
      <materialize_ttl_after_modify>0</materialize_ttl_after_modify> # 禁用修改后物化 TTL
      <wait_for_async_insert_timeout>120</wait_for_async_insert_timeout> # 设置等待异步插入的超时时间
      <lightweight_deletes_sync>0</lightweight_deletes_sync> # 禁用轻量级删除同步
      <allow_materialized_view_with_bad_select>1</allow_materialized_view_with_bad_select> # 允许包含导致 CH 失败的旧版 SELECT 语句的物化视图
  </default>
</profiles>

​

高可用复制 ClickHouse 集群

• 您需要有一个已设置 Keeper 或 Zookeeper 用于数据复制并具有适当设置的 ClickHouse 集群。请参阅 ClickHouse 复制设置文档。
• 您需要在 LangSmith 配置 部分设置集群设置，特别是 cluster 设置以匹配您的 ClickHouse 集群名称。这将在运行 ClickHouse 迁移时使用 Replicated 表引擎。
• 如果除了高可用性之外，您还想在 ClickHouse 节点之间进行负载均衡（以分发读取或写入），我们建议使用负载均衡器或 DNS 负载均衡在您的 ClickHouse 服务器之间进行轮询。
• 注意：您需要在首次启动 LangSmith 并运行 ClickHouse 迁移之前启用 cluster 设置。这是一个要求，因为表引擎需要创建为 Replicated 表引擎，而不是非复制引擎类型。

​

LangSmith 托管的 ClickHouse

• 如果使用 LangSmith 托管的 ClickHouse，您需要在 LangSmith VPC 和 ClickHouse VPC 之间设置 VPC 对等连接。有关更多信息，请通过 support.langchain.com 联系支持团队。
• 您还需要设置 Blob 存储。您可以在 Blob 存储文档 中阅读更多关于 Blob 存储的信息。

​

参数

• Host：ClickHouse 数据库的主机名或 IP 地址
• HTTP Port：ClickHouse 数据库监听 HTTP 连接的端口
• Native Port：ClickHouse 数据库监听 原生连接 的端口
• Database：LangSmith 应该使用的 ClickHouse 数据库名称
• Username：用于连接 ClickHouse 数据库的用户名
• Password：用于连接 ClickHouse 数据库的密码
• Cluster (Optional)：如果使用外部 ClickHouse 集群，则为 ClickHouse 集群的名称。设置后，LangSmith 将在集群上运行迁移并在实例之间复制数据。

​

配置

clickhouse:
  external:
    enabled: true
    host: "host"
    port: "http port"
    nativePort: "native port"
    user: "default"
    password: "password"
    database: "default"
    tls: false
    cluster: "my_cluster_name"  # 可选：如果使用外部 ClickHouse 集群，请设置此项

​

ClickHouse 的 TLS

​

服务器 TLS（单向）

• 在配置中设置 tls: true（或使用 tlsSecretKey 和外部密钥）。
• 使用适当的 TLS 端口（通常 HTTP 为 8443，原生 TCP 连接为 9440）。
• 如果使用内部 CA，请使用 config.customCa.secretName 和 config.customCa.secretKey 提供 CA 包。

config:
  customCa:
    secretName: "langsmith-custom-ca"  # 包含您的 CA 包的 Secret
    secretKey: "ca.crt"    # Secret 中包含 CA 包的键
clickhouse:
  external:
    enabled: true
    host: "your-clickhouse-host.example.com"
    port: "8443"
    nativePort: "9440"
    user: "default"
    password: "password"
    database: "default"
    tls: true

​

带客户端认证的双向 TLS (mTLS)

• 提供一个包含客户端证书和密钥的 Secret。
• 通过 clickhouse.external.clientCert.secretName 引用它，并使用 certSecretKey 和 keySecretKey 指定键。

clickhouse:
  external:
    enabled: true
    host: "your-clickhouse-host.example.com"
    port: "8443"
    nativePort: "9440"
    user: "default"
    password: "password"
    database: "default"
    tls: true
    clientCert:
      secretName: "clickhouse-client-cert"
      certSecretKey: "tls.crt"
      keySecretKey: "tls.key"

​

用于迁移的非 TLS 原生端口

backend:
  clickhouseMigrations:
    extraEnv:
      - name: CLICKHOUSE_MIGRATE_NATIVE_PORT
        value: "9000"  # 更改为您的非 TLS 原生端口

​

用于证书卷的 Pod 安全上下文

commonPodSecurityContext:
  fsGroup: 1000