Skip to main content
OpenLLM 让开发者能够以单条命令将任何开源 LLMs 作为与 OpenAI 兼容的 API 端点运行。
  • 🔬 为快速和生产使用场景构建
  • 🚂 支持 llama3、qwen2、gemma 等以及许多量化版本 完整列表
  • ⛓️ 与 OpenAI 兼容的 API
  • 💬 内置类 ChatGPT 的 UI
  • 🔥 使用最先进的推理后端加速 LLM 解码
  • 🌥️ 支持企业级云部署（Kubernetes、Docker 和 BentoCloud）

​
安装与设置

通过 PyPI 安装 OpenLLM 包： 
pip install openllm

​
LLM

OpenLLM 支持各种开源 LLMs 以及用户自己微调的 LLMs。使用 openllm model 命令查看所有为 OpenLLM 预优化的可用模型。

​
封装

有一个 OpenLLM 封装，支持与使用 OpenLLM 运行的服务器交互： 
from langchain_community.llms import OpenLLM

​
OpenLLM 服务器封装

此封装支持与 OpenLLM 的与 OpenAI 兼容的端点交互。 运行模型： 
openllm hello
封装用法： 
from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="http://localhost:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

​
使用方法

有关 OpenLLM 封装的更详细使用说明，请参阅 示例 notebook
在 GitHub 上编辑此页面 或 提交问题。
将这些文档连接 到 Claude、VSCode 等，通过 MCP 获取实时答案。