Skip to main content
LlamaEdge 是在本地或边缘运行自定义和微调 LLM 的最简单、最快速的方式。
  • 轻量级推理应用，LlamaEdge 体积为 MB 而非 GB
  • 原生和 GPU 加速性能
  • 支持多种 GPU 和硬件加速器
  • 支持多种优化推理库
  • 广泛的 AI/LLM 模型选择

​
安装与设置

查看安装说明。

​
对话模型

查看使用示例。 
from langchain_community.chat_models.llama_edge import LlamaEdgeChatService
在 GitHub 上编辑此页面 或 提交 issue。
将这些文档连接 到 Claude、VSCode 等，通过 MCP 获取实时答案。