> ## Documentation Index > Fetch the complete documentation index at: https://cndoc-langchain.site/llms.txt > Use this file to discover all available pages before exploring further. # 模型提供商 [Playground](/langsmith/prompt-engineering-concepts#playground) 支持多种模型提供商。您可以选择提供商，配置首选设置，并将这些配置保存以在多个提示中重复使用。请参阅此页面了解可用提供商及其配置选项的列表：

有关创建和管理模型配置的详细信息，请参阅[配置提示设置](/langsmith/managing-model-configurations)页面。 ## Amazon Bedrock 在使用此模型之前，请确保您已拥有 [AWS 凭证或 IAM 角色](https://docs.aws.amazon.com/bedrock/latest/userguide/security-iam.html)。 ### 身份验证 Amazon Bedrock 支持两种身份验证方法。**IAM 可信实体是推荐的方法**，因为它避免了与 LangSmith 共享长期有效的 AWS 访问密钥。 #### IAM 可信实体（推荐）使用 IAM 可信实体身份验证，您需要在 AWS 账户中创建一个 IAM 角色，并允许 LangSmith 假设该角色。LangSmith 中不存储任何访问密钥。相反，LangSmith 使用 [AWS STS](https://docs.aws.amazon.com/STS/latest/APIReference/welcome.html) 在每次请求时假设该角色。设置步骤如下： 1. 在您的 AWS 账户中创建一个具有调用 Bedrock 模型权限（例如 `bedrock:InvokeModel`）的 IAM 角色。 2. 添加一个信任策略，允许 LangSmith 的 AWS 账户（`808407022534`）假设该角色，并使用您的 LangSmith 工作区 ID 作为外部 ID： ```json theme={"theme":{"light":"catppuccin-latte","dark":"catppuccin-mocha"}} { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::808407022534:root" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "" } } } ] } ``` 您可以在 [LangSmith 工作区设置](https://smith.langchain.com/settings) 中找到您的工作区 ID。 3. 在 LangSmith Playground 中，展开 Bedrock 提供商下的 **IAM 可信实体** 部分，并输入您创建的角色的 ARN。有关信任策略的更多详细信息，请参阅 [AWS 文档](https://aws.amazon.com/blogs/security/how-to-use-trust-policies-with-iam-roles/)。 #### 访问密钥或者，您可以使用 AWS 访问密钥（`AWS_ACCESS_KEY_ID` 和 `AWS_SECRET_ACCESS_KEY`）进行身份验证。在 Playground 的 Bedrock 提供商配置中输入这些密钥。此方法设置更简单，但安全性较低，因为它需要存储长期有效的凭证。 ### 可用模型 AWS Bedrock 提供对来自多个提供商的基础模型的访问： * **Anthropic:** Claude 模型。 * **Amazon:** Titan 模型。 * **Cohere:** Command 模型。 * **Meta:** Llama 模型。 * **其他:** 根据区域提供其他可用提供商。有关当前可用模型列表，请参阅 [AWS Bedrock 文档](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html)。 ### 配置参数参数取决于底层模型提供商： #### 对于 Anthropic 模型使用 Anthropic 配置（参见下文 [Anthropic](#anthropic) 部分）。 #### 对于 Amazon Titan | 参数 | 范围 | 描述 | | --------------- | --------- | ------ | | **Temperature** | 0.0 - 1.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | #### AWS 特定设置 * **Region:** 用于模型部署的 AWS 区域。 ### 工具调用取决于底层模型： * **Anthropic 模型:** `auto`, `any`。 * **Cohere 模型:** `auto`。 ## Anthropic 在使用此模型之前，请确保您已拥有 [Anthropic API 密钥](https://console.anthropic.com/settings/keys)。 ### 可用模型 Anthropic 在其 Claude 系列中提供三个层级的模型： * **Opus:** 最高智能和能力。 * **Sonnet:** 平衡性能和成本。 * **Haiku:** 快速且经济高效。最新的 Claude 模型支持扩展思考能力，用于展示推理过程。有关当前可用模型列表，请参阅 [Anthropic 文档](https://docs.anthropic.com/claude/docs/models-overview)。 ### 配置参数 | 参数 | 范围 | 默认值 | 描述 | | --------------------- | --------- | ---- | ------------------------ | | **Temperature** | 0.0 - 1.0 | 可选 | 随机性控制（取消选中以使用模型默认值） | | **Max Output Tokens** | 1+ | 1024 | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 可选 | 核采样（取消选中以使用模型默认值） | | **Top K** | 1+ | 可选 | 限制为前 K 个令牌（取消选中以使用模型默认值） | Temperature、Top P 和 Top K 是可选的。当取消选中时，Claude 使用其内部默认值。 #### 扩展思考在支持的 Claude 模型上可用。启用模型在响应前显示推理过程，类似于 OpenAI 的 o 系列。 | 参数 | 范围 | 描述 | | ---------------------------- | -- | ----------------- | | **Enable Extended Thinking** | 开关 | 显示/隐藏思考过程 | | **Budget Tokens** | 1+ | 思考的最大令牌数（默认：1024） | 启用后，响应包括： 1. 包含模型推理过程的“思考”部分。 2. 最终响应。 #### 高级选项 * **Base URL:** 覆盖自定义部署的 API 端点。 ### 工具调用 * **支持的工具选择:** `auto`, `any`（需要至少一个工具）。 * **并行执行:** 否（仅顺序执行）。 ## Azure OpenAI 在使用此模型之前，请确保您已拥有 [Azure OpenAI 凭证](https://learn.microsoft.com/en-us/azure/ai-services/openai/quickstart)（端点 + API 密钥）。 ### 可用模型 Azure OpenAI 提供与 OpenAI 相同的模型系列： * **GPT 系列:** 通用聊天模型。 * **o 系列:** 专注于推理的模型。 * **旧版模型:** GPT-3.5 和 GPT-4 变体。模型可用性因 Azure 区域而异，使用前需要部署。有关当前可用模型列表，请参阅 [Azure OpenAI 文档](https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models)。 ### 配置参数 Azure OpenAI 支持与 OpenAI 相同的参数： #### 标准参数 | 参数 | 范围 | 描述 | | --------------------- | ---------- | --------------------------- | | **Temperature** | 0.0 - 2.0 | 控制随机性。值越低 = 越专注，值越高 = 越有创意。 | | **Max Output Tokens** | 1+ | 响应的最大长度 | | **Top P** | 0.0 - 1.0 | 核采样阈值。Temperature 的替代方案。 | | **Presence Penalty** | -2.0 - 2.0 | 惩罚新主题（正值）或鼓励它们（负值） | | **Frequency Penalty** | -2.0 - 2.0 | 惩罚重复（正值）或允许重复（负值） | | **Seed** | 整数 | 用于可重现的输出 | #### 高级参数 **Reasoning Effort:** 在推理优化模型（o 系列和较新的 GPT 模型）上可用。 **Service Tier:** 在较新的模型上可用。 **其他参数:** * **JSON Mode:** 强制有效的 JSON 响应。 * **Parallel Tool Calls:** 并发执行多个工具。 #### Azure 特定功能 * **部署管理:** 模型使用前必须部署。 * **区域可用性:** 选择 Azure 区域以实现数据驻留。 * **内容过滤:** 内置内容审核和安全功能。 * **托管标识:** Azure AD 身份验证支持。 * **专用端点:** VNet 集成以实现安全访问。 ### 工具调用 * **支持的工具选择:** `auto`, `required`, `none`，或特定工具名称。 * **并行执行:** 是。 ## DeepSeek 在使用此模型之前，请确保您已拥有 [DeepSeek API 密钥](https://platform.deepseek.com/api_keys)。 ### 可用模型 DeepSeek 提供通用模型、推理优化模型（R 系列）和编码专用模型。有关当前可用模型列表，请参阅 [DeepSeek 文档](https://platform.deepseek.com/api-docs/)。 ### 配置参数 | 参数 | 范围 | 描述 | | --------------------- | ---------- | ------ | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | | **Presence Penalty** | -2.0 - 2.0 | | | **Frequency Penalty** | -2.0 - 2.0 | | ## Fireworks 在使用此模型之前，请确保您已拥有 [Fireworks API 密钥](https://fireworks.ai/api-keys)。 ### 可用模型 Fireworks 为流行的开源模型和微调变体提供高速推理，包括： * **Llama:** Meta 的各种尺寸的 Llama 模型。 * **Mixtral:** Mistral 的混合专家模型。 * **Qwen:** 阿里巴巴的多语言模型。 * **DeepSeek:** DeepSeek 模型。 * **其他开源模型:** Gemma、Phi 等。有关当前可用模型列表，请参阅 [Fireworks 模型文档](https://docs.fireworks.ai/models)。 ### 配置参数 | 参数 | 范围 | 描述 | | --------------- | --------- | ------ | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | ### 工具调用 * **支持的工具选择:** `auto`, `required`, `none`。 * **并行执行:** 是。 ## Google Gemini 在使用此模型之前，请确保您已拥有 [Google AI API 密钥](https://aistudio.google.com/app/apikey)。 ### 可用模型 Google 提供多个层级（Ultra、Pro、Flash）的 Gemini 模型，针对不同用例进行了优化。有关当前可用模型列表，请参阅 [Google Gemini 文档](https://ai.google.dev/models/gemini)。 ### 配置参数 | 参数 | 范围 | 描述 | | --------------------- | --------- | -------- | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Output Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | | **Top K** | 1+ | Top-k 采样 | ### 工具调用 * **支持的工具选择:** `auto`, `any`, `none`。 * **并行执行:** 否。 ## Google Vertex AI 在使用此模型之前，请确保您已拥有 [Google Cloud 凭证](https://cloud.google.com/vertex-ai/docs/authentication)。 ### 可用模型 Google 提供多个层级（Ultra、Pro、Flash）的 Gemini 模型，针对不同用例进行了优化，以及通过 Vertex AI 提供的其他模型。有关当前可用模型列表，请参阅 [Vertex AI 文档](https://cloud.google.com/vertex-ai/docs/generative-ai/models)。 ### 配置参数 | 参数 | 范围 | 描述 | | --------------------- | --------- | -------- | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Output Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | | **Top K** | 1+ | Top-k 采样 | #### 高级选项 * **区域选择:** 在特定的 Google Cloud 区域部署。 * **安全设置:** 配置内容过滤阈值。 ### 工具调用 * **支持的工具选择:** `auto`, `any`, `none`。 * **并行执行:** 否。 ## Groq 在使用此模型之前，请确保您已拥有 [Groq API 密钥](https://console.groq.com/keys)。 ### 可用模型 Groq 为流行的开源模型提供高速推理，包括 Llama、Mixtral 和 Gemma 变体。有关当前可用模型列表，请参阅 [Groq 模型文档](https://console.groq.com/docs/models)。 ### 配置参数 | 参数 | 范围 | 描述 | | --------------- | --------- | ------ | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | ### 工具调用 * **支持的工具选择:** `auto`, `required`, `none`。 * **并行执行:** 是。 ## Mistral AI 在使用此模型之前，请确保您已拥有 [Mistral AI API 密钥](https://console.mistral.ai/api-keys/)。 ### 可用模型 Mistral 提供多个层级（Large、Medium、Small）的模型，针对不同的性能和成本要求进行了优化。有关当前可用模型列表，请参阅 [Mistral 文档](https://docs.mistral.ai/platform/endpoints/)。 ### 配置参数 | 参数 | 范围 | 描述 | | --------------- | --------- | ------ | | **Temperature** | 0.0 - 1.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | ### 工具调用 * **支持的工具选择:** `auto`, `any`, `none`。 * **并行执行:** 否。 ## OpenAI 在使用此模型之前，请确保您已拥有 [OpenAI API 密钥](https://platform.openai.com/api-keys) 或 [Azure OpenAI 凭证](https://learn.microsoft.com/en-us/azure/ai-services/openai/quickstart)。 ### 可用模型 OpenAI 提供多个具有不同能力和价格点的模型系列： * **GPT 系列:** 具有不同尺寸/能力层级的通用聊天模型。 * **o 系列:** 针对复杂问题解决进行优化的推理模型。 * **旧版模型:** 较旧的 GPT-3.5 和 GPT-4 变体。有关当前可用模型列表，请参阅 [OpenAI 文档](https://platform.openai.com/docs/models)。 ### 配置参数标准： | 参数 | 范围 | 描述 | | --------------------- | ---------- | --------------------------- | | **Temperature** | 0.0 - 2.0 | 控制随机性。值越低 = 越专注，值越高 = 越有创意。 | | **Max Output Tokens** | 1+ | 响应的最大长度 | | **Top P** | 0.0 - 1.0 | 核采样阈值。Temperature 的替代方案。 | | **Presence Penalty** | -2.0 - 2.0 | 惩罚新主题（正值）或鼓励它们（负值） | | **Frequency Penalty** | -2.0 - 2.0 | 惩罚重复（正值）或允许重复（负值） | | **Seed** | 整数 | 用于可重现的输出 | 高级： **Reasoning Effort**: 在推理优化模型（o 系列和较新的 GPT 模型）上可用。控制响应前的推理深度。更高的努力 = 复杂任务的质量更好，延迟更长。 | 值 | 描述 | | --------- | ------------- | | `none` | 禁用推理（标准聊天行为） | | `minimal` | 最小推理 | | `low` | 轻度推理 | | `medium` | 中等推理（默认） | | `high` | 深度推理 | | `xhigh` | 超深度推理（如果模型支持） | 当 reasoning\_effort 处于活动状态（不是 `none`）时，temperature、top\_p 和惩罚会自动禁用。 **Service Tier**: 在较新的模型上可用。控制请求优先级和处理分配。 | 值 | 描述 | | ---------- | ----------------- | | `auto` | 系统根据负载决定（默认） | | `default` | 标准处理队列 | | `flex` | 较低成本，可变延迟（如果模型支持） | | `priority` | 高优先级队列，较低延迟，较高成本 | **其他参数:** * **JSON Mode:** 强制有效的 JSON 响应。 * **Responses API:** 改进的流式传输（默认：启用）。 * **Parallel Tool Calls:** 并发执行多个工具。 ### 工具调用 * **支持的工具选择:** `auto`, `required`, `none`，或特定工具名称 * **并行执行:** 是 ## OpenAI 兼容端点身份验证因端点而异（通常是 API 密钥或无需身份验证）。 ### 配置 **必需:** * **Base URL:** 您的端点 URL（例如 `https://your-endpoint.com/v1`）。 * **Model Name:** 您的模型标识符。适用于任何实现 OpenAI 兼容 API 格式的框架或服务，包括： * 自托管的开源推理服务器 * 模型路由代理 * 自定义模型端点 ### 配置参数所有 OpenAI 兼容参数： | 参数 | 范围 | 描述 | | --------------------- | ---------- | ------ | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | | **Frequency Penalty** | -2.0 - 2.0 | 减少重复 | | **Presence Penalty** | -2.0 - 2.0 | 鼓励新主题 | **高级:** * **JSON Mode:** 如果端点支持。 * **Streaming:** 如果端点支持。 * **Function Calling:** 如果端点实现了 OpenAI 格式。 ### 工具调用 * **支持的工具选择:** `auto`, `required`, `none`（如果端点支持）。 * **并行执行:** 是（如果端点支持）。 ### 示例端点 **本地 Ollama:** ``` Base URL: http://localhost:11434/v1 Model: llama3.1 ``` **vLLM 服务器:** ``` Base URL: https://your-server.com/v1 Model: mistral-7b-instruct ``` **LiteLLM 代理:** ``` Base URL: https://litellm.example.com Model: gpt-4 (路由到配置的后端) ``` ## XAI 在使用此模型之前，请确保您已拥有 [xAI API 密钥](https://console.x.ai/)。 ### 可用模型 xAI 提供多种尺寸的 Grok 模型，适用于不同的用例。有关当前可用模型列表，请参阅 [xAI 文档](https://docs.x.ai/docs)。 ### 配置参数标准 OpenAI 兼容参数： | 参数 | 范围 | 描述 | | --------------------- | --------- | -------- | | **Temperature** | 0.0 - 2.0 | 响应随机性 | | **Max Tokens** | 1+ | 最大响应长度 | | **Top P** | 0.0 - 1.0 | 核采样 | | **Presence Penalty** | 0 - 2.0 | 在推理模型上隐藏 | | **Frequency Penalty** | 0 - 2.0 | 在推理模型上隐藏 | ### 工具调用 * **支持的工具选择:** OpenAI 兼容。 * **并行执行:** 是（如果支持）。 ## 所有提供商的通用配置 ### 额外参数所有提供商都支持一个 **用于 UI 中未公开的额外参数的 JSON 编辑器**： ```json theme={"theme":{"light":"catppuccin-latte","dark":"catppuccin-mocha"}} { "logprobs": true, "top_logprobs": 5, "custom_parameter": "value" } ``` **用例:** * 提供商特定的 Beta 功能 * 尚未在 UI 中的高级参数 * 用于跟踪的自定义元数据 **限制:** 无法覆盖已在 UI 中的参数（例如，如果已在上方设置，则无法在此处设置 temperature） ### 速率限制 **每秒请求数 (RPS)** - 在数据集上运行时，所有提供商均可使用： * **范围:** 0 - 500 RPS * **目的:** 遵守 API 速率限制，控制成本 * **默认值:** 因提供商而异在运行实验或评估时设置此项，以避免达到速率限制。 ## 后续步骤了解如何在 Playground 中创建和管理模型配置。开始使用您选择的模型提供商构建提示。 ***

[通过 MCP 将这些文档](/use-these-docs) 连接到 Claude、VSCode 等，以获取实时答案。 [在 GitHub 上编辑此页面](https://github.com/langchain-ai/docs/edit/main/src/langsmith/playground-model-providers.mdx) 或 [提交问题](https://github.com/langchain-ai/docs/issues/new/choose)。