Skip to main content
C Transformers 库为 GGML 模型提供了 Python 绑定。 本示例介绍如何使用 LangChain 与 C Transformers 模型 进行交互。 安装 
pip install -qU  ctransformers
加载模型 
from langchain_community.llms import CTransformers

llm = CTransformers(model="marella/gpt-2-ggml")
生成文本 
print(llm.invoke("AI is going to"))
流式输出 
from langchain_core.callbacks import StreamingStdOutCallbackHandler

llm = CTransformers(
    model="marella/gpt-2-ggml", callbacks=[StreamingStdOutCallbackHandler()]
)

response = llm.invoke("AI is going to")
LLMChain 
from langchain_classic.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer:"""

prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

response = llm_chain.run("What is AI?")
在 GitHub 上编辑此页面 或 提交问题。
将这些文档连接到 Claude、VSCode 等工具，通过 MCP 获取实时答案。