Skip to main content
Baseten 提供了部署和服务机器学习模型所需的全部基础设施,具备高性能、可靠性和可扩展性。
作为模型推理平台,Baseten 在 LangChain 生态系统中是一个 ProviderBaseten 集成目前实现了聊天模型嵌入组件。
Baseten 允许您通过指定模型 slug 访问 Kimi K2 或 GPT OSS 等开源模型的 API, 也支持通过指定 model_url 在专用 GPU 上运行专有或微调模型。

安装与设置

在 LangChain 中使用 Baseten 模型需要两样东西: 将您的 API 密钥导出为名为 BASETEN_API_KEY 的环境变量。
export BASETEN_API_KEY="paste_your_api_key_here"

聊天模型(模型 API 和专用部署)

查看使用示例
from langchain_baseten import ChatBaseten

嵌入(仅限专用部署)

查看使用示例
from langchain_baseten import BasetenEmbeddings