Skip to main content
演练场允许您使用任何符合 OpenAI API 规范的模型。您可以通过在演练场中设置模型的代理提供商来使用您的模型。

部署一个 OpenAI 兼容的模型

许多提供商提供 OpenAI 兼容的模型或代理服务。一些例子包括: 您可以使用这些提供商来部署您的模型,并获得一个符合 OpenAI API 规范的 API 端点。 请查看完整的规范以获取更多信息。

在演练场中使用模型

一旦您部署了模型服务器,就可以在演练场中使用它。 要访问提示设置菜单:
  1. Prompts 标题下,选择模型名称旁边的齿轮 图标。
  2. Model Configuration 选项卡中,从下拉菜单中选择要编辑的模型。
  3. 对于 Provider 下拉菜单,选择 OpenAI Compatible Endpoint
  4. 将您的 OpenAI 兼容端点添加到 Base URL 输入框中。有关示例,请参阅 Base URL 格式
    LangSmith UI 中的模型配置窗口,已选择一个模型,并且 Provider 下拉菜单中选择了 OpenAI Compatible Endpoint。
如果一切设置正确,您应该能在演练场中看到模型的响应。您也可以使用此功能来调用下游管道。 有关如何存储模型配置的信息,请参阅配置提示设置

Base URL 格式

Base URL 应指向您的 OpenAI 兼容 API 服务器的根路径。 LangSmith 会自动附加 /chat/completions——请勿将其包含在 Base URL 中。

Base URL 示例

提供商示例 Base URL
Ollama (本地)http://localhost:11434/v1
LiteLLM Proxy (本地)http://localhost:4000
vLLM (本地)http://localhost:8000/v1
自托管 (远程)https://my-model-server.example.com/v1
支持自定义路径前缀。如果您的服务器在 /api/v2/chat/completions 提供补全服务, 请将 Base URL 设置为 https://my-server.example.com/api/v2