Skip to main content
SingleStoreLoader 允许您直接从 SingleStore 数据库表中加载文档。它是 langchain-singlestore 集成包的一部分。

概述

集成详情

JS 支持
SingleStoreLoaderlangchain_singlestore

功能特性

  • 懒加载文档,高效处理大型数据集。
  • 支持原生异步操作。
  • 可轻松配置以适配不同数据库模式。

安装

要使用 SingleStoreLoader,您需要安装 langchain-singlestore 包。请按照以下步骤操作。

安装依赖

安装 langchain_singlestore
pip install -qU langchain_singlestore

初始化

要初始化 SingleStoreLoader,您需要提供 SingleStore 数据库的连接参数,并指定要加载文档的表和字段。

必填参数

  • host (str):数据库的主机名、IP 地址或 URL。
  • table_name (str):要查询的表名。默认为 embeddings
  • content_field (str):包含文档内容的字段。默认为 content
  • metadata_field (str):包含文档元数据的字段。默认为 metadata

可选参数

  • id_field (str):包含文档 ID 的字段。默认为 id

连接池参数

  • pool_size (int):连接池中活跃连接数。默认为 5
  • max_overflow (int):超出 pool_size 的最大连接数。默认为 10
  • timeout (float):连接超时时间(秒)。默认为 30

其他选项

  • pure_python (bool):启用纯 Python 模式。
  • local_infile (bool):允许本地文件上传。
  • charset (str):字符串值的字符集。
  • ssl_keyssl_certssl_ca (str):SSL 文件路径。
  • ssl_disabled (bool):禁用 SSL。
  • ssl_verify_cert (bool):验证服务器证书。
  • ssl_verify_identity (bool):验证服务器身份。
  • autocommit (bool):启用自动提交。
  • results_type (str):查询结果结构(例如 tuplesdicts)。
from langchain_singlestore.document_loaders import SingleStoreLoader

loader = SingleStoreLoader(
    host="127.0.0.1:3306/db",
    table_name="documents",
    content_field="content",
    metadata_field="metadata",
    id_field="id",
)

加载

docs = loader.load()
docs[0]
print(docs[0].metadata)

懒加载

page = []
for doc in loader.lazy_load():
    page.append(doc)
    if len(page) >= 10:
        # 执行一些分页操作,例如
        # index.upsert(page)

        page = []

API 参考

有关 SingleStore 文档加载器所有功能和配置的详细文档,请访问 GitHub 页面:https://github.com/singlestore-labs/langchain-singlestore/