Skip to main content
llama.cpp python 库是 @ggerganov 的 llama.cpp 的简单 Python 绑定。 该包提供：
  • 通过 ctypes 接口对 C API 的底层访问
  • 用于文本补全的高层 Python API
    • 类 OpenAI API
    • LangChain 兼容性
    • LlamaIndex 兼容性
  • 兼容 OpenAI 的 Web 服务器
    • 本地 Copilot 替代方案
    • 函数调用支持
    • Vision API 支持
    • 多模型支持

​
安装与设置

  • 安装 Python 包 
    pip install llama-cpp-python
  • 下载支持的模型之一，并按照说明将其转换为 llama.cpp 格式

​
对话模型

查看使用示例。 
from langchain_community.chat_models import ChatLlamaCpp

​
LLM

from langchain_community.llms import LlamaCpp

​
嵌入模型

查看使用示例。 
from langchain_community.embeddings import LlamaCppEmbeddings
在 GitHub 上编辑此页面 或 提交 issue。
将这些文档连接 到 Claude、VSCode 等，通过 MCP 获取实时答案。