模型提供商 - Docs by LangChain

Playground 支持多种模型提供商。您可以选择提供商，配置首选设置，并将这些配置保存以在多个提示中重复使用。请参阅此页面了解可用提供商及其配置选项的列表：

有关创建和管理模型配置的详细信息，请参阅配置提示设置页面。

Amazon Bedrock

在使用此模型之前，请确保您已拥有 AWS 凭证或 IAM 角色。

身份验证

Amazon Bedrock 支持两种身份验证方法。IAM 可信实体是推荐的方法，因为它避免了与 LangSmith 共享长期有效的 AWS 访问密钥。

IAM 可信实体（推荐）

使用 IAM 可信实体身份验证，您需要在 AWS 账户中创建一个 IAM 角色，并允许 LangSmith 假设该角色。LangSmith 中不存储任何访问密钥。相反，LangSmith 使用 AWS STS 在每次请求时假设该角色。设置步骤如下：

在您的 AWS 账户中创建一个具有调用 Bedrock 模型权限（例如 bedrock:InvokeModel）的 IAM 角色。
添加一个信任策略，允许 LangSmith 的 AWS 账户（808407022534）假设该角色，并使用您的 LangSmith 工作区 ID 作为外部 ID：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::808407022534:root"
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "<your-langsmith-workspace-id>"
        }
      }
    }
  ]
}

您可以在 LangSmith 工作区设置中找到您的工作区 ID。

在 LangSmith Playground 中，展开 Bedrock 提供商下的 IAM 可信实体 部分，并输入您创建的角色的 ARN。

有关信任策略的更多详细信息，请参阅 AWS 文档。

访问密钥

或者，您可以使用 AWS 访问密钥（AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY）进行身份验证。在 Playground 的 Bedrock 提供商配置中输入这些密钥。此方法设置更简单，但安全性较低，因为它需要存储长期有效的凭证。

可用模型

AWS Bedrock 提供对来自多个提供商的基础模型的访问：

Anthropic: Claude 模型。
Amazon: Titan 模型。
Cohere: Command 模型。
Meta: Llama 模型。
其他: 根据区域提供其他可用提供商。

有关当前可用模型列表，请参阅 AWS Bedrock 文档。

配置参数

参数取决于底层模型提供商：

对于 Anthropic 模型

使用 Anthropic 配置（参见下文 Anthropic 部分）。

对于 Amazon Titan

参数	范围	描述
Temperature	0.0 - 1.0	响应随机性
Max Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样

AWS 特定设置

Region: 用于模型部署的 AWS 区域。

工具调用

取决于底层模型：

Anthropic 模型: auto, any。
Cohere 模型: auto。

Anthropic

在使用此模型之前，请确保您已拥有 Anthropic API 密钥。

可用模型

Anthropic 在其 Claude 系列中提供三个层级的模型：

Opus: 最高智能和能力。
Sonnet: 平衡性能和成本。
Haiku: 快速且经济高效。

最新的 Claude 模型支持扩展思考能力，用于展示推理过程。有关当前可用模型列表，请参阅 Anthropic 文档。

配置参数

参数	范围	默认值	描述
Temperature	0.0 - 1.0	可选	随机性控制（取消选中以使用模型默认值）
Max Output Tokens	1+	1024	最大响应长度
Top P	0.0 - 1.0	可选	核采样（取消选中以使用模型默认值）
Top K	1+	可选	限制为前 K 个令牌（取消选中以使用模型默认值）

Temperature、Top P 和 Top K 是可选的。当取消选中时，Claude 使用其内部默认值。

扩展思考

在支持的 Claude 模型上可用。启用模型在响应前显示推理过程，类似于 OpenAI 的 o 系列。

参数	范围	描述
Enable Extended Thinking	开关	显示/隐藏思考过程
Budget Tokens	1+	思考的最大令牌数（默认：1024）

启用后，响应包括：

包含模型推理过程的“思考”部分。
最终响应。

高级选项

Base URL: 覆盖自定义部署的 API 端点。

工具调用

支持的工具选择: auto, any（需要至少一个工具）。
并行执行: 否（仅顺序执行）。

Azure OpenAI

在使用此模型之前，请确保您已拥有 Azure OpenAI 凭证（端点 + API 密钥）。

可用模型

Azure OpenAI 提供与 OpenAI 相同的模型系列：

GPT 系列: 通用聊天模型。
o 系列: 专注于推理的模型。
旧版模型: GPT-3.5 和 GPT-4 变体。

模型可用性因 Azure 区域而异，使用前需要部署。有关当前可用模型列表，请参阅 Azure OpenAI 文档。

配置参数

Azure OpenAI 支持与 OpenAI 相同的参数：

标准参数

参数	范围	描述
Temperature	0.0 - 2.0	控制随机性。值越低 = 越专注，值越高 = 越有创意。
Max Output Tokens	1+	响应的最大长度
Top P	0.0 - 1.0	核采样阈值。Temperature 的替代方案。
Presence Penalty	-2.0 - 2.0	惩罚新主题（正值）或鼓励它们（负值）
Frequency Penalty	-2.0 - 2.0	惩罚重复（正值）或允许重复（负值）
Seed	整数	用于可重现的输出

高级参数

Reasoning Effort: 在推理优化模型（o 系列和较新的 GPT 模型）上可用。 Service Tier: 在较新的模型上可用。 其他参数:

JSON Mode: 强制有效的 JSON 响应。
Parallel Tool Calls: 并发执行多个工具。

Azure 特定功能

部署管理: 模型使用前必须部署。
区域可用性: 选择 Azure 区域以实现数据驻留。
内容过滤: 内置内容审核和安全功能。
托管标识: Azure AD 身份验证支持。
专用端点: VNet 集成以实现安全访问。

工具调用

支持的工具选择: auto, required, none，或特定工具名称。
并行执行: 是。

DeepSeek

在使用此模型之前，请确保您已拥有 DeepSeek API 密钥。

可用模型

DeepSeek 提供通用模型、推理优化模型（R 系列）和编码专用模型。有关当前可用模型列表，请参阅 DeepSeek 文档。

配置参数

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样
Presence Penalty	-2.0 - 2.0
Frequency Penalty	-2.0 - 2.0

Fireworks

在使用此模型之前，请确保您已拥有 Fireworks API 密钥。

可用模型

Fireworks 为流行的开源模型和微调变体提供高速推理，包括：

Llama: Meta 的各种尺寸的 Llama 模型。
Mixtral: Mistral 的混合专家模型。
Qwen: 阿里巴巴的多语言模型。
DeepSeek: DeepSeek 模型。
其他开源模型: Gemma、Phi 等。

有关当前可用模型列表，请参阅 Fireworks 模型文档。

配置参数

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样

工具调用

支持的工具选择: auto, required, none。
并行执行: 是。

Google Gemini

在使用此模型之前，请确保您已拥有 Google AI API 密钥。

可用模型

Google 提供多个层级（Ultra、Pro、Flash）的 Gemini 模型，针对不同用例进行了优化。有关当前可用模型列表，请参阅 Google Gemini 文档。

配置参数

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Output Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样
Top K	1+	Top-k 采样

工具调用

支持的工具选择: auto, any, none。
并行执行: 否。

Google Vertex AI

在使用此模型之前，请确保您已拥有 Google Cloud 凭证。

可用模型

Google 提供多个层级（Ultra、Pro、Flash）的 Gemini 模型，针对不同用例进行了优化，以及通过 Vertex AI 提供的其他模型。有关当前可用模型列表，请参阅 Vertex AI 文档。

配置参数

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Output Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样
Top K	1+	Top-k 采样

高级选项

区域选择: 在特定的 Google Cloud 区域部署。
安全设置: 配置内容过滤阈值。

工具调用

支持的工具选择: auto, any, none。
并行执行: 否。

Groq

在使用此模型之前，请确保您已拥有 Groq API 密钥。

可用模型

Groq 为流行的开源模型提供高速推理，包括 Llama、Mixtral 和 Gemma 变体。有关当前可用模型列表，请参阅 Groq 模型文档。

配置参数

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Tokens	1+	最大响应长度

工具调用

支持的工具选择: auto, required, none。
并行执行: 是。

Mistral AI

在使用此模型之前，请确保您已拥有 Mistral AI API 密钥。

可用模型

Mistral 提供多个层级（Large、Medium、Small）的模型，针对不同的性能和成本要求进行了优化。有关当前可用模型列表，请参阅 Mistral 文档。

配置参数

参数	范围	描述
Temperature	0.0 - 1.0	响应随机性
Max Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样

工具调用

支持的工具选择: auto, any, none。
并行执行: 否。

OpenAI

在使用此模型之前，请确保您已拥有 OpenAI API 密钥或 Azure OpenAI 凭证。

可用模型

OpenAI 提供多个具有不同能力和价格点的模型系列：

GPT 系列: 具有不同尺寸/能力层级的通用聊天模型。
o 系列: 针对复杂问题解决进行优化的推理模型。
旧版模型: 较旧的 GPT-3.5 和 GPT-4 变体。

有关当前可用模型列表，请参阅 OpenAI 文档。

配置参数

标准：

参数	范围	描述
Temperature	0.0 - 2.0	控制随机性。值越低 = 越专注，值越高 = 越有创意。
Max Output Tokens	1+	响应的最大长度
Top P	0.0 - 1.0	核采样阈值。Temperature 的替代方案。
Presence Penalty	-2.0 - 2.0	惩罚新主题（正值）或鼓励它们（负值）
Frequency Penalty	-2.0 - 2.0	惩罚重复（正值）或允许重复（负值）
Seed	整数	用于可重现的输出

高级： Reasoning Effort: 在推理优化模型（o 系列和较新的 GPT 模型）上可用。控制响应前的推理深度。更高的努力 = 复杂任务的质量更好，延迟更长。

值	描述
`none`	禁用推理（标准聊天行为）
`minimal`	最小推理
`low`	轻度推理
`medium`	中等推理（默认）
`high`	深度推理
`xhigh`	超深度推理（如果模型支持）

当 reasoning_effort 处于活动状态（不是 none）时，temperature、top_p 和惩罚会自动禁用。

Service Tier: 在较新的模型上可用。控制请求优先级和处理分配。

值	描述
`auto`	系统根据负载决定（默认）
`default`	标准处理队列
`flex`	较低成本，可变延迟（如果模型支持）
`priority`	高优先级队列，较低延迟，较高成本

其他参数:

JSON Mode: 强制有效的 JSON 响应。
Responses API: 改进的流式传输（默认：启用）。
Parallel Tool Calls: 并发执行多个工具。

工具调用

支持的工具选择: auto, required, none，或特定工具名称
并行执行: 是

OpenAI 兼容端点

身份验证因端点而异（通常是 API 密钥或无需身份验证）。

配置

必需:

Base URL: 您的端点 URL（例如 https://your-endpoint.com/v1）。
Model Name: 您的模型标识符。

适用于任何实现 OpenAI 兼容 API 格式的框架或服务，包括：

自托管的开源推理服务器
模型路由代理
自定义模型端点

配置参数

所有 OpenAI 兼容参数：

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样
Frequency Penalty	-2.0 - 2.0	减少重复
Presence Penalty	-2.0 - 2.0	鼓励新主题

高级:

JSON Mode: 如果端点支持。
Streaming: 如果端点支持。
Function Calling: 如果端点实现了 OpenAI 格式。

工具调用

支持的工具选择: auto, required, none（如果端点支持）。
并行执行: 是（如果端点支持）。

示例端点

本地 Ollama:

Base URL: http://localhost:11434/v1
Model: llama3.1

vLLM 服务器:

Base URL: https://your-server.com/v1
Model: mistral-7b-instruct

LiteLLM 代理:

Base URL: https://litellm.example.com
Model: gpt-4 (路由到配置的后端)

XAI

在使用此模型之前，请确保您已拥有 xAI API 密钥。

可用模型

xAI 提供多种尺寸的 Grok 模型，适用于不同的用例。有关当前可用模型列表，请参阅 xAI 文档。

配置参数

标准 OpenAI 兼容参数：

参数	范围	描述
Temperature	0.0 - 2.0	响应随机性
Max Tokens	1+	最大响应长度
Top P	0.0 - 1.0	核采样
Presence Penalty	0 - 2.0	在推理模型上隐藏
Frequency Penalty	0 - 2.0	在推理模型上隐藏

工具调用

支持的工具选择: OpenAI 兼容。
并行执行: 是（如果支持）。

所有提供商的通用配置

额外参数

所有提供商都支持一个 用于 UI 中未公开的额外参数的 JSON 编辑器：

{
  "logprobs": true,
  "top_logprobs": 5,
  "custom_parameter": "value"
}

用例:

提供商特定的 Beta 功能
尚未在 UI 中的高级参数
用于跟踪的自定义元数据

限制: 无法覆盖已在 UI 中的参数（例如，如果已在上方设置，则无法在此处设置 temperature）

速率限制

每秒请求数 (RPS) - 在数据集上运行时，所有提供商均可使用：

范围: 0 - 500 RPS
目的: 遵守 API 速率限制，控制成本
默认值: 因提供商而异

在运行实验或评估时设置此项，以避免达到速率限制。

后续步骤

配置提示设置

了解如何在 Playground 中创建和管理模型配置。

创建提示

开始使用您选择的模型提供商构建提示。

通过 MCP 将这些文档连接到 Claude、VSCode 等，以获取实时答案。

在 GitHub 上编辑此页面或提交问题。

​Amazon Bedrock

​身份验证

​IAM 可信实体（推荐）

​访问密钥

​可用模型

​配置参数

​对于 Anthropic 模型

​对于 Amazon Titan

​AWS 特定设置

​工具调用

​Anthropic

​可用模型

​配置参数

​扩展思考

​高级选项

​工具调用

​Azure OpenAI

​可用模型

​配置参数

​标准参数

​高级参数

​Azure 特定功能

​工具调用

​DeepSeek

​可用模型

​配置参数

​Fireworks

​可用模型

​配置参数

​工具调用

​Google Gemini

​可用模型

​配置参数

​工具调用

​Google Vertex AI

​可用模型

​配置参数

​高级选项

​工具调用

​Groq

​可用模型

​配置参数

​工具调用

​Mistral AI

​可用模型

​配置参数

​工具调用

​OpenAI

​可用模型

​配置参数

​工具调用

​OpenAI 兼容端点

​配置

​配置参数

​工具调用

​示例端点

​XAI

​可用模型

​配置参数

​工具调用

​所有提供商的通用配置

​额外参数

​速率限制

​后续步骤

配置提示设置

创建提示

Amazon Bedrock

身份验证

IAM 可信实体（推荐）

访问密钥

可用模型

配置参数

对于 Anthropic 模型

对于 Amazon Titan

AWS 特定设置

工具调用

Anthropic

可用模型

配置参数

扩展思考

高级选项

工具调用

Azure OpenAI

可用模型

配置参数

标准参数

高级参数

Azure 特定功能

工具调用

DeepSeek

可用模型

配置参数

Fireworks

可用模型

配置参数

工具调用

Google Gemini

可用模型

配置参数

工具调用

Google Vertex AI

可用模型

配置参数

高级选项

工具调用

Groq

可用模型

配置参数

工具调用

Mistral AI

可用模型

配置参数

工具调用

OpenAI

可用模型

配置参数

工具调用

OpenAI 兼容端点

配置

配置参数

工具调用

示例端点

XAI

可用模型

配置参数

工具调用

所有提供商的通用配置

额外参数

速率限制

后续步骤