Skip to main content
本页介绍如何在 LangChain 中使用 GPT4All 封装器。教程分为两部分：安装与设置，以及使用示例。

​
安装与设置

  • 使用 pip install gpt4all 安装 Python 包
  • 下载 GPT4All 模型 并将其放置在你想要的目录中
在此示例中，我们使用 mistral-7b-openorca.Q4_0.gguf： 
mkdir models
wget https://gpt4all.io/models/gguf/mistral-7b-openorca.Q4_0.gguf -O models/mistral-7b-openorca.Q4_0.gguf

​
使用

​
GPT4All

要使用 GPT4All 封装器，你需要提供预训练模型文件的路径和模型配置。 
from langchain_community.llms import GPT4All

# 实例化模型。回调支持逐令牌流式传输
model = GPT4All(model="./models/mistral-7b-openorca.Q4_0.gguf", n_threads=8)

# 生成文本
response = model.invoke("Once upon a time, ")
你还可以自定义生成参数，如 n_predict、temp、top_p、top_k 等。 要流式传输模型的预测结果，请添加 CallbackManager。 
from langchain_community.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

# 支持许多 CallbackHandlers，例如
# from langchain.callbacks.streamlit import StreamlitCallbackHandler

callbacks = [StreamingStdOutCallbackHandler()]
model = GPT4All(model="./models/mistral-7b-openorca.Q4_0.gguf", n_threads=8)

# 生成文本。令牌通过回调管理器流式传输。
model.invoke("Once upon a time, ", callbacks=callbacks)

​
模型文件

你可以从 GPT4All 客户端下载模型文件。你可以从 GPT4All 网站下载客户端。 有关此内容的更详细说明，请参阅 此 notebook
在 GitHub 上编辑此页面 或 提交问题。
将这些文档连接 到 Claude、VSCode 等，通过 MCP 获取实时答案。