Skip to main content
OctoAI 提供高效计算资源的便捷访问，使用户能够将所选的 AI 模型集成到应用程序中。OctoAI 计算服务帮助您轻松运行、调优和扩展 AI 应用程序。 本文演示了如何使用 langchain.chat_models.ChatOctoAI 调用 OctoAI 端点。

​
安装配置

要运行示例应用，需要完成以下两个简单步骤：
  1. 从您的 OctoAI 账户页面获取 API Token。
  2. 将您的 API token 粘贴到下方代码单元中，或使用 octoai_api_token 关键字参数传入。
注意：如果您想使用可用模型之外的其他模型，可以将模型容器化并自行创建自定义 OctoAI 端点，具体步骤请参阅从 Python 构建容器和从容器创建自定义端点，然后更新您的 OCTOAI_API_BASE 环境变量。 
import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"

from langchain_community.chat_models import ChatOctoAI
from langchain.messages import HumanMessage, SystemMessage

​
示例

chat = ChatOctoAI(max_tokens=300, model_name="mixtral-8x7b-instruct")

messages = [
    SystemMessage(content="You are a helpful assistant."),
    HumanMessage(content="Tell me about Leonardo da Vinci briefly."),
]
print(chat(messages).content)
莱昂纳多·达·芬奇（1452-1519）是意大利博学家，常被认为是历史上最伟大的画家之一。然而，他的天才远不止于艺术领域——他同时也是科学家、发明家、数学家、工程师、解剖学家、地质学家和制图师。 达·芬奇以《蒙娜丽莎》、《最后的晚餐》和《岩间圣母》等画作而闻名于世。他的科学研究远超时代，其笔记本中详细记录了各种机械、人体解剖和自然现象的图示与描述。 尽管从未接受过正规教育，达·芬奇凭借其无尽的好奇心和敏锐的观察力，成为众多领域的先驱。他的成就至今仍在激励和影响着艺术家、科学家和思想家。
在 GitHub 上编辑此页面 或 提交问题。
将这些文档连接到 Claude、VSCode 等工具，通过 MCP 获取实时解答。