Skip to main content
本指南提供了快速上手 OCIGenAI 聊天模型 的概览。有关 ChatOCIGenAI 所有功能和配置的详细文档,请参阅 API 参考 Oracle Cloud Infrastructure (OCI) 生成式 AI 是一项全托管服务,提供一套最先进、可自定义的大语言模型(LLMs),涵盖广泛的使用场景,并通过单一 API 提供访问。 使用 OCI 生成式 AI 服务,您可以访问现成的预训练模型,或基于自有数据在专用 AI 集群上创建并托管自定义微调模型。该服务和 API 的详细文档可在__此处此处__找到。

概述

集成详情

模型特性

工具调用结构化输出图像输入音频输入视频输入Token 级流式传输原生异步Token 用量对数概率

设置

要访问 OCIGenAI 模型,您需要安装 ocilangchain-community 包。

凭据

本集成支持的凭据和认证方法与其他 OCI 服务相同,遵循__标准 SDK 认证__方法,具体包括 API 密钥、会话令牌、实例主体和资源主体。 上述示例中默认使用 API 密钥认证方式。以下示例演示如何使用其他认证方式(会话令牌)。

安装

LangChain OCIGenAI 集成位于 langchain-community 包中,您还需要安装 oci 包:
pip install -qU langchain-community oci

实例化

现在我们可以实例化模型对象并生成聊天补全内容:
from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain.messages import AIMessage, HumanMessage, SystemMessage

chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

调用

messages = [
    SystemMessage(content="your are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="tell me a joke."),
]
response = chat.invoke(messages)
print(response.content)

API 参考

有关 ChatOCIGenAI 所有功能和配置的详细文档,请参阅 API 参考:python.langchain.com/api_reference/community/chat_models/langchain_community.chat_models.oci_generative_ai.ChatOCIGenAI.html