Skip to main content
OctoAI 提供对高效计算的便捷访问，并帮助用户将所选 AI 模型集成到应用中。OctoAI 计算服务让您轻松运行、调优和扩展 AI 应用。 本示例介绍如何使用 LangChain 与 OctoAI LLM 端点进行交互。

​
设置

运行示例应用只需两个简单步骤：
  1. 从您的 OctoAI 账户页面获取 API Token。
  2. 将您的 API 密钥粘贴到下方代码单元格中。
注意：如果您想使用不同的 LLM 模型，可以按照从 Python 构建容器和从容器创建自定义端点的说明将模型容器化并创建自定义 OctoAI 端点，然后更新 OCTOAI_API_BASE 环境变量。 
import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"

from langchain_classic.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate

​
示例

template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)

llm = OctoAIEndpoint(
    model_name="llama-2-13b-chat-fp16",
    max_tokens=200,
    presence_penalty=0,
    temperature=0.1,
    top_p=0.9,
)

question = "Who was Leonardo da Vinci?"

chain = prompt | llm

print(chain.invoke(question))
莱昂纳多·达·芬奇是一位真正的文艺复兴式全才。他于 1452 年出生于意大利的芬奇，在艺术、科学、工程和数学等多个领域享有盛誉。他被认为是有史以来最伟大的画家之一，其最著名的作品包括《蒙娜丽莎》和《最后的晚餐》。除艺术成就外，达·芬奇在工程学和解剖学方面也作出了重大贡献，其机器和发明的设计领先时代数百年。他还以其丰富的日记和素描而著称，为后人留下了宝贵的思想与创意资料。达·芬奇的遗产至今仍在激励和影响着世界各地的艺术家、科学家和思想家。
Edit this page on GitHub or file an issue.
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.