Skip to main content
阿里云 PAI(人工智能平台) 是一个采用云原生技术的轻量级、高性价比机器学习平台。它为你提供端到端的建模服务,能够基于超过 100 个场景中的数百亿特征和数千亿样本加速模型训练。
阿里云机器学习平台 PAI 是面向企业和开发者的机器学习或深度学习工程平台。它提供易用、高性价比、高性能且易于扩展的插件,可应用于各行业场景。机器学习平台 PAI 内置超过 140 种优化算法,提供全流程 AI 工程能力,涵盖数据标注(PAI-iTAG)、模型构建(PAI-DesignerPAI-DSW)、模型训练(PAI-DLC)、编译优化以及推理部署(PAI-EAS)。 PAI-EAS 支持多种硬件资源类型,包括 CPU 和 GPU,具备高吞吐量和低延迟特性。它让你只需几次点击即可部署大规模复杂模型,并能实时进行弹性扩缩容,同时提供全面的运维监控系统。

设置 EAS 服务

设置环境变量以初始化 EAS 服务的 URL 和 token。 详细信息请参阅此文档
export EAS_SERVICE_URL=XXX
export EAS_SERVICE_TOKEN=XXX
另一种方式是使用以下代码:
import os

from langchain_community.chat_models import PaiEasChatEndpoint
from langchain_core.language_models.chat_models import HumanMessage

os.environ["EAS_SERVICE_URL"] = "Your_EAS_Service_URL"
os.environ["EAS_SERVICE_TOKEN"] = "Your_EAS_Service_Token"
chat = PaiEasChatEndpoint(
    eas_service_url=os.environ["EAS_SERVICE_URL"],
    eas_service_token=os.environ["EAS_SERVICE_TOKEN"],
)

运行聊天模型

你可以使用默认设置调用 EAS 服务:
output = chat.invoke([HumanMessage(content="write a funny joke")])
print("output:", output)
或者,使用新的推理参数调用 EAS 服务:
kwargs = {"temperature": 0.8, "top_p": 0.8, "top_k": 5}
output = chat.invoke([HumanMessage(content="write a funny joke")], **kwargs)
print("output:", output)
或者,运行流式调用以获取流式响应:
outputs = chat.stream([HumanMessage(content="hi")], streaming=True)
for output in outputs:
    print("stream output:", output)