Skip to main content
llama.cpp python 库是为 @ggerganov 的 llama.cpp 提供的简单 Python 绑定。 该包提供以下功能：
  • 通过 ctypes 接口低级访问 C API。
  • 高级 Python 文本补全 API
    • 类 OpenAI 的 API
    • LangChain 兼容性
    • LlamaIndex 兼容性
  • 兼容 OpenAI 的 Web 服务器
    • 本地 Copilot 替代方案
    • 函数调用支持
    • Vision API 支持
    • 多模型支持
pip install -qU  llama-cpp-python

from langchain_community.embeddings import LlamaCppEmbeddings

llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")

text = "This is a test document."

query_result = llama.embed_query(text)

doc_result = llama.embed_documents([text])
在 GitHub 上编辑此页面 或 提交 Issue。
通过 MCP 将这些文档连接 到 Claude、VSCode 等，获取实时解答。