Skip to main content
本页介绍如何在 LangChain 中使用 DeepSparse 推理运行时。 分为两部分：安装与设置，以及 DeepSparse 使用示例。

​
安装与设置

  • 通过 pip install deepsparse 安装 Python 包
  • 选择一个 SparseZoo 模型，或使用 Optimum 将支持的模型导出为 ONNX 格式

​
LLM

有一个 DeepSparse LLM 封装，可以通过以下方式访问： 
from langchain_community.llms import DeepSparse
它为所有模型提供了统一的接口： 
llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none')

print(llm.invoke('def fib():'))
可以使用 config 参数传递额外参数： 
config = {'max_generated_tokens': 256}

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none', config=config)
在 GitHub 上编辑此页面 或提交 issue。
通过 MCP 将这些文档连接到 Claude、VSCode 等，获取实时答案。