Skip to main content
Apache Doris 是一个用于实时分析的现代数据仓库， 能够在大规模实时数据上实现闪电般快速的分析。
通常 Apache Doris 被归类为 OLAP 数据库，并在 ClickBench — 分析型数据库基准测试 中表现出色。由于其拥有超快的向量化执行引擎，因此也可用作高性能向量数据库。
使用此集成需要通过 pip install -qU langchain-community 安装 langchain-community。 以下将展示如何使用 Apache Doris 向量存储。

​
配置

pip install -qU  pymysql
在开始时将 update_vectordb 设置为 False。如果没有文档更新，则无需重新构建文档的嵌入向量。 
!pip install  sqlalchemy
!pip install langchain

from langchain_classic.chains import RetrievalQA
from langchain_community.document_loaders import (
    DirectoryLoader,
    UnstructuredMarkdownLoader,
)
from langchain_community.vectorstores.apache_doris import (
    ApacheDoris,
    ApacheDorisSettings,
)
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import TokenTextSplitter

update_vectordb = False

​
加载文档并将其拆分为 token

加载 docs 目录下的所有 Markdown 文件。 对于 Apache Doris 文档，您可以从 github.com/apache/doris 克隆仓库，其中包含 docs 目录。 
loader = DirectoryLoader(
    "./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents = loader.load()
将文档拆分为 token，并将 update_vectordb 设置为 True，因为有新的文档/token。 
# load text splitter and split docs into snippets of text
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)

# tell vectordb to update text embeddings
update_vectordb = True
split_docs[-20] print(”# docs = %d, # splits = %d” % (len(documents), len(split_docs)))

​
创建向量数据库实例

​
使用 Apache Doris 作为向量数据库

def gen_apache_doris(update_vectordb, embeddings, settings):
    if update_vectordb:
        docsearch = ApacheDoris.from_documents(split_docs, embeddings, config=settings)
    else:
        docsearch = ApacheDoris(embeddings, settings)
    return docsearch

​
将 token 转换为嵌入向量并存入向量数据库

这里使用 Apache Doris 作为向量数据库，您可以通过 ApacheDorisSettings 配置 Apache Doris 实例。 配置 Apache Doris 实例与配置 MySQL 实例基本相同，需要指定：
  1. host/port（主机/端口）
  2. username（用户名，默认为 ‘root’）
  3. password（密码，默认为 ”）
  4. database（数据库，默认为 ‘default’）
  5. table（表名，默认为 ‘langchain’）
import os
from getpass import getpass

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass()

update_vectordb = True

embeddings = OpenAIEmbeddings()

# configure Apache Doris settings(host/port/user/pw/db)
settings = ApacheDorisSettings()
settings.port = 9030
settings.host = "172.30.34.130"
settings.username = "root"
settings.password = ""
settings.database = "langchain"
docsearch = gen_apache_doris(update_vectordb, embeddings, settings)

print(docsearch)

update_vectordb = False

​
构建问答系统并提问

llm = OpenAI()
qa = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "what is apache doris"
resp = qa.run(query)
print(resp)
Edit this page on GitHub or file an issue.
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.