Skip to main content
WatsonxLLM 是 IBM watsonx.ai 基础模型的封装器。
本示例展示了如何使用 LangChain 与 watsonx.ai 模型进行通信。

​
概述

​
集成详情

类包本地可序列化JS 支持下载量版本
WatsonxLLMlangchain-ibm❌❌✅PyPI - DownloadsPyPI - Version

​
设置

要访问 IBM watsonx.ai 模型，您需要创建一个 IBM watsonx.ai 账户、获取 API 密钥并安装 langchain-ibm 集成包。

​
凭证

以下代码块定义了使用 watsonx 基础模型推理所需的凭证。 操作： 提供 IBM Cloud 用户 API 密钥。详情请参阅 管理用户 API 密钥。 
import os
from getpass import getpass

watsonx_api_key = getpass()
os.environ["WATSONX_APIKEY"] = watsonx_api_key
此外，您还可以通过环境变量传递其他密钥。 
import os

os.environ["WATSONX_URL"] = "your service instance url"
os.environ["WATSONX_TOKEN"] = "your token for accessing the CLOUD or CPD cluster"
os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster"
os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster"
os.environ["WATSONX_INSTANCE_ID"] = "your instance_id for accessing the CPD cluster"

​
安装

LangChain IBM 集成位于 langchain-ibm 包中： 
!pip install -qU langchain-ibm

​
实例化

对于不同的模型或任务，您可能需要调整模型 parameters。详情请参阅文档。 
parameters = {
    "decoding_method": "sample",
    "max_new_tokens": 100,
    "min_new_tokens": 1,
    "temperature": 0.5,
    "top_k": 50,
    "top_p": 1,
}
使用之前设置的参数初始化 WatsonxLLM 类。 注意：
  • 要为 API 调用提供上下文，您必须添加 project_id 或 space_id。更多信息请参阅文档。
  • 根据您的服务实例所在区域，使用此处描述的其中一个 URL。
在本示例中，我们将使用 project_id 和 Dallas URL。 您需要指定用于推理的 model_id。所有可用模型请参阅文档。 
from langchain_ibm import WatsonxLLM

watsonx_llm = WatsonxLLM(
    model_id="ibm/granite-13b-instruct-v2",
    url="https://us-south.ml.cloud.ibm.com",
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=parameters,
)
您也可以使用 Cloud Pak for Data 凭证。详情请参阅文档。 
watsonx_llm = WatsonxLLM(
    model_id="ibm/granite-13b-instruct-v2",
    url="PASTE YOUR URL HERE",
    username="PASTE YOUR USERNAME HERE",
    password="PASTE YOUR PASSWORD HERE",
    instance_id="openshift",
    version="4.8",
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=parameters,
)
除了 model_id，您也可以传入之前微调模型的 deployment_id。完整的模型微调工作流程请参阅 Working with TuneExperiment and PromptTuner。 
watsonx_llm = WatsonxLLM(
    deployment_id="PASTE YOUR DEPLOYMENT_ID HERE",
    url="https://us-south.ml.cloud.ibm.com",
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=parameters,
)
对于特定需求，可以将 IBM 的 APIClient 对象传入 WatsonxLLM 类。 
from ibm_watsonx_ai import APIClient

api_client = APIClient(...)

watsonx_llm = WatsonxLLM(
    model_id="ibm/granite-13b-instruct-v2",
    watsonx_client=api_client,
)
您也可以将 IBM 的 ModelInference 对象传入 WatsonxLLM 类。 
from ibm_watsonx_ai.foundation_models import ModelInference

model = ModelInference(...)

watsonx_llm = WatsonxLLM(watsonx_model=model)

​
调用

要获取补全结果，可以直接使用字符串 prompt 调用模型。 
# Calling a single prompt

watsonx_llm.invoke("Who is man's best friend?")

"Man's best friend is his dog. Dogs are man's best friend because they are always there for you, they never judge you, and they love you unconditionally. Dogs are also great companions and can help reduce stress levels. "

# Calling multiple prompts

watsonx_llm.generate(
    [
        "The fastest dog in the world?",
        "Describe your chosen dog breed",
    ]
)

LLMResult(generations=[[Generation(text='The fastest dog in the world is the greyhound. Greyhounds can run up to 45 mph, which is about the same speed as a Usain Bolt.', generation_info={'finish_reason': 'eos_token'})], [Generation(text='The Labrador Retriever is a breed of retriever that was bred for hunting. They are a very smart breed and are very easy to train. They are also very loyal and will make great companions. ', generation_info={'finish_reason': 'eos_token'})]], llm_output={'token_usage': {'generated_token_count': 82, 'input_token_count': 13}, 'model_id': 'ibm/granite-13b-instruct-v2', 'deployment_id': None}, run=[RunInfo(run_id=UUID('750b8a0f-8846-456d-93d0-e039e95b1276')), RunInfo(run_id=UUID('aa4c2a1c-5b08-4fcf-87aa-50228de46db5'))], type='LLMResult')

​
流式输出模型结果

您可以流式输出模型结果。 
for chunk in watsonx_llm.stream(
    "Describe your favorite breed of dog and why it is your favorite."
):
    print(chunk, end="")

My favorite breed of dog is a Labrador Retriever. They are my favorite breed because they are my favorite color, yellow. They are also very smart and easy to train.

​
链式调用

创建 PromptTemplate 对象，负责生成随机问题。 
from langchain_core.prompts import PromptTemplate

template = "Generate a random question about {topic}: Question: "

prompt = PromptTemplate.from_template(template)
提供主题并运行链。 
llm_chain = prompt | watsonx_llm

topic = "dog"

llm_chain.invoke(topic)

'What is the origin of the name "Pomeranian"?'

​
API 参考

关于 WatsonxLLM 所有功能和配置的详细文档，请访问 API 参考。
在 GitHub 上编辑此页面 或 提交 Issue。
将这些文档连接到 Claude、VSCode 等，通过 MCP 获取实时解答。