Skip to main content
本文档帮助您快速上手使用 Fireworks AI 聊天模型。有关 ChatFireworks 所有功能和配置的详细文档，请参阅 API 参考。 Fireworks AI 是一个 AI 推理平台，用于运行和自定义模型。有关 Fireworks 提供的所有模型列表，请参阅 Fireworks 文档。

​
概述

​
集成详情

类包可序列化JS 支持下载量版本
ChatFireworkslangchain-fireworksbeta✅PyPI - DownloadsPyPI - Version

​
模型功能

工具调用结构化输出图像输入音频输入视频输入Token 级流式输出原生异步Token 用量Logprobs
✅✅❌❌❌✅✅✅✅

​
设置

要访问 Fireworks 模型，您需要创建一个 Fireworks 账户、获取 API 密钥，并安装 langchain-fireworks 集成包。

​
凭证

前往 fireworks.ai/login 注册 Fireworks 并生成 API 密钥。完成后，设置 FIREWORKS_API_KEY 环境变量： 
import getpass
import os

if "FIREWORKS_API_KEY" not in os.environ:
    os.environ["FIREWORKS_API_KEY"] = getpass.getpass("Enter your Fireworks API key: ")
要启用模型调用的自动追踪，请设置您的 LangSmith API 密钥： 
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

​
安装

LangChain Fireworks 集成位于 langchain-fireworks 包中： 
pip install -qU langchain-fireworks

​
实例化

现在我们可以实例化模型对象并生成聊天补全：
  • TODO: 使用相关参数更新模型实例化。
from langchain_fireworks import ChatFireworks

llm = ChatFireworks(
    model="accounts/fireworks/models/kimi-k2-instruct-0905", # Model library in: https://app.fireworks.ai/models
    temperature=0,
    max_tokens=None,
    timeout=None,
    max_retries=2,
    # other params...
)

​
调用

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content="J'adore la programmation.", additional_kwargs={}, response_metadata={'token_usage': {'prompt_tokens': 31, 'total_tokens': 41, 'completion_tokens': 10}, 'system_fingerprint': '', 'finish_reason': 'stop', 'logprobs': None, 'model_provider': 'fireworks', 'model_name': 'accounts/fireworks/models/kimi-k2-instruct-0905'}, id='lc_run--a2bdeca3-6394-4c80-97ad-2fc8db9f54bb-0', usage_metadata={'input_tokens': 31, 'output_tokens': 10, 'total_tokens': 41})

print(ai_msg.content)

J'adore la programmation.

​
API 参考

有关 ChatFireworks 所有功能和配置的详细文档，请参阅 API 参考 要使用 langchain-fireworks 包，请按照以下步骤安装： 
pip install langchain-fireworks

​
基本用法

​
配置设置

  1. 登录 Fireworks AI 获取 API 密钥以访问模型，并确保将其设置为 FIREWORKS_API_KEY 环境变量。 登录并获取 API 密钥后，按照以下步骤设置 FIREWORKS_API_KEY 环境变量：
    • Linux/macOS： 打开终端并执行以下命令：
    export FIREWORKS_API_KEY='your_api_key'
    注意： 要在终端会话之间持久保存此环境变量，请将上述行添加到您的 ~/.bashrc、~/.bash_profile 或 ~/.zshrc 文件中。
    • Windows： 对于命令提示符，请使用：
    set FIREWORKS_API_KEY=your_api_key
  2. 使用模型 ID 设置您的模型。如果未设置模型，默认模型为 fireworks-llama-v2-7b-chat。查看完整且最新的模型列表，请访问 fireworks.ai。 
import getpass
import os
from langchain_fireworks import ChatFireworks

# Initialize a Fireworks model
llm = ChatFireworks(
    model="accounts/fireworks/models/llama-v3p1-8b-instruct",
    base_url="https://api.fireworks.ai/inference/v1/completions",
)

​
直接调用模型

您可以使用字符串提示词直接调用模型以获取补全结果。 
# Single prompt
output = llm.invoke("Who's the best quarterback in the NFL?")
print(output)

# Calling multiple prompts
output = llm.generate(
    [
        "Who's the best cricket player in 2016?",
        "Who's the best basketball player in the league?",
    ]
)
print(output.generations)

​
高级用法

​
工具使用：LangChain Agent + Fireworks 函数调用模型

请查看如何教 Fireworks 函数调用模型使用计算器的教程笔记本。 Fireworks 专注于提供最佳的快速模型推理和工具使用体验。您可以查看我们的博客了解更多关于它与 GPT-4 对比的细节，简而言之，在函数调用用例方面它与 GPT-4 不相上下，但速度更快且成本更低。

​
RAG：LangChain Agent + Fireworks 函数调用模型 + MongoDB + nomic AI 嵌入

请查看这里的 cookbook，了解端到端的完整流程。
Edit this page on GitHub or file an issue.
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.