Skip to main content
Cerebrium 是 AWS Sagemaker 的替代方案。它还提供对多个 LLM 模型的 API 访问。 本 notebook 介绍如何将 LangChain 与 CerebriumAI 结合使用。

​
安装 cerebrium

使用 CerebriumAI API 需要安装 cerebrium 包。使用 pip3 install cerebrium 安装 cerebrium。 
# Install the package
!pip3 install cerebrium

​
导入

import os

from langchain_classic.chains import LLMChain
from langchain_community.llms import CerebriumAI
from langchain_core.prompts import PromptTemplate

​
设置环境 API 密钥

确保从 CerebriumAI 获取您的 API 密钥。请参阅此处。您将获得 1 小时的免费无服务器 GPU 计算时间来测试不同的模型。 
os.environ["CEREBRIUMAI_API_KEY"] = "YOUR_KEY_HERE"

​
创建 CerebriumAI 实例

您可以指定不同的参数，例如模型端点 URL、最大长度、温度等。必须提供端点 URL。 
llm = CerebriumAI(endpoint_url="YOUR ENDPOINT URL HERE")

​
创建提示模板

我们将创建一个用于问答的提示模板。 
template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

​
初始化 LLMChain

llm_chain = LLMChain(prompt=prompt, llm=llm)

​
运行 LLMChain

提供一个问题并运行 LLMChain。 
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.run(question)
Edit this page on GitHub or file an issue.
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.