Skip to main content
langchain-localai 是 LocalAI 的第三方集成包，提供了在 LangChain 中使用 LocalAI 服务的简便方式。源代码可在 GitHub 上获取。
本笔记本演示如何使用 LocalAI Reranker API 进行文档压缩和检索。 加载 LocalAIRerank 类。要使用 LocalAIRerank 类，您需要在某处托管 LocalAI 服务并配置重排序器。请参阅 localai.io/basics/getting_started/index.html 和 localai.io/features/reranker/index.html 的文档。 
pip install -U langchain-localai

import os
from langchain_localai import LocalAIRerank
from langchain_core.documents import Document

# 将您的 LocalAI/OpenAI API 密钥设置为环境变量以确保安全。
# 例如，在 shell 中：export OPENAI_API_KEY="your-key-here"
reranker = LocalAIRerank(
    openai_api_key=os.environ.get("OPENAI_API_KEY"),
    model="bge-reranker-v2-m3",
    openai_api_base="http://localhost:8080",
)
reranked_docs = reranker.compress_documents(
    documents=[
        Document(page_content="Green tea is rich in antioxidants and may improve brain function."),
        Document(page_content="Coffee contains caffeine and can increase alertness."),
        Document(page_content="Black tea has a strong flavor and contains various polyphenols."),
    ],
    query="What are the health benefits of green tea?"
)
在 GitHub 上编辑此页面 或 提交问题。
将这些文档连接到 Claude、VSCode 等，通过 MCP 获取实时解答。