LocalAI 是免费的开源 OpenAI 替代方案。
LocalAI 作为即插即用的替代 REST API,兼容 OpenAI API 规范,用于本地推理。
它允许您在消费级硬件上本地或内部部署运行 LLM、生成图像、音频(不仅限于此),
支持多种模型系列和架构。
langchain-localai 是 LocalAI 的第三方集成包,提供在 LangChain 中使用 LocalAI 服务的简便方式。
源代码可在 GitHub 查看。安装与设置
嵌入模型
查看使用示例。重排序
查看使用示例。将这些文档连接 到 Claude、VSCode 等,通过 MCP 获取实时答案。

