Skip to main content
LangChain 与 NVIDIA 合作，通过四种机制加速 Agent：
  1. 组件
  2. LangGraph 加速原语
  3. NeMo Agent Toolkit 优化
  4. 全栈蓝图

​
组件

langchain-nvidia-ai-endpoints 包提供了由 NVIDIA AI 驱动的聊天、嵌入、重排序和检索的 LangChain 集成——包括 Nemotron（NVIDIA 专为 Agentic AI 构建的开放模型系列）以及 NVIDIA API Catalog 上的数百个社区模型。 模型运行在 NVIDIA NIM 微服务上：这些容器镜像暴露标准的与 OpenAI 兼容的 API，并使用 TensorRT-LLM 针对 NVIDIA 硬件进行峰值吞吐量优化。它们可通过托管的 API Catalog 访问，也可在本地自行部署。
组件类描述
聊天ChatNVIDIA与任何 NVIDIA 托管模型或本地 NIM 进行聊天补全
聊天（Dynamo）ChatNVIDIADynamo带有 Dynamo 部署 KV 缓存路由提示的 ChatNVIDIA
嵌入NVIDIAEmbeddings用于语义搜索和 RAG 的稠密向量嵌入
重排序NVIDIARerank按查询相关性对文档重排序
检索NVIDIARetriever从 NVIDIA RAG Blueprint 服务器检索

​
聊天：ChatNVIDIA

ChatNVIDIA 提供基于 NVIDIA 托管模型和本地 NIM 部署的聊天补全。它支持工具调用、结构化输出、图像输入和流式传输。

​
安装

pip install -qU langchain-nvidia-ai-endpoints

​
访问 NVIDIA API Catalog

  1. 在 NVIDIA API Catalog 创建免费账户并登录。
  2. 点击个人资料图标，然后选择 API Keys > Generate API Key。
  3. 复制并保存密钥为 NVIDIA_API_KEY。
import getpass
import os

if os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    print("Valid NVIDIA_API_KEY already in environment. Delete to reset")
else:
    nvapi_key = getpass.getpass("NVAPI Key (starts with nvapi-): ")
    assert nvapi_key.startswith(
        "nvapi-"
    ), f"{nvapi_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvapi_key

​
Nemotron：面向 Agentic AI 的精选模型

Nemotron 是 NVIDIA 专为 Agentic AI 设计的开放模型系列。这些模型采用混合 Mamba-Transformer 专家混合架构，能以高吞吐量提供领先的基准性能，并支持最多 100 万 Token 的上下文窗口。Nemotron 模型权重、训练数据和实现方案在 NVIDIA 开放模型许可证下公开发布。 
from langchain_nvidia_ai_endpoints import ChatNVIDIA

# Nemotron 3 Nano — 高效推理和 Agentic 任务
llm = ChatNVIDIA(model="nvidia/nemotron-3-nano-30b-a3b")
result = llm.invoke("Plan a three-step research workflow for competitive analysis.")
print(result.content)
完整文档（包括工具调用、多模态输入和 Nemotron 特定示例）请参见 ChatNVIDIA 集成页面。

​
聊天：ChatNVIDIADynamo

ChatNVIDIADynamo 是用于 NVIDIA Dynamo 部署的 ChatNVIDIA 的即插即用替代品。它自动向每个请求注入 KV 缓存路由提示，允许 Dynamo 调度器优化内存分配、负载路由和请求优先级。 
from langchain_nvidia_ai_endpoints import ChatNVIDIADynamo

llm = ChatNVIDIADynamo(
    base_url="http://localhost:8099/v1",
    model="nvidia/nemotron-3-nano-30b-a3b",
    osl=512,             # 预期输出序列长度（tokens）
    iat=250,             # 预期到达间隔时间（ms）
    latency_sensitivity=1.0,
    priority=1,
)
result = llm.invoke("Summarize KV cache routing in one sentence.")
print(result.content)
完整的 ChatNVIDIADynamo 参考（包括每次调用覆盖和流式传输）请参见 ChatNVIDIA 集成页面。

​
嵌入：NVIDIAEmbeddings

NVIDIAEmbeddings 为语义搜索和 RAG 管道生成稠密向量嵌入。 
from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings

embedder = NVIDIAEmbeddings(model="NV-Embed-QA")
embedder.embed_query("What's the temperature today?")
完整文档请参见 NVIDIAEmbeddings 集成页面。

​
重排序：NVIDIARerank

NVIDIARerank 使用 NeMo Retriever 重排序 NIM，按照查询相关性对文档列表进行重排序。 
from langchain_core.documents import Document
from langchain_nvidia_ai_endpoints import NVIDIARerank

ranker = NVIDIARerank(model="nvidia/llama-3.2-nv-rerankqa-1b-v1")
docs = ranker.compress_documents(
    query="What is GPU memory bandwidth?",
    documents=[Document(page_content=p) for p in passages],
)

​
检索：NVIDIARetriever

NVIDIARetriever 将 LangChain 连接到运行中的 NVIDIA RAG Blueprint 服务器，并通过 /v1/search 端点检索相关文档。它支持重排序、查询改写和元数据过滤。 
from langchain_nvidia_ai_endpoints import NVIDIARetriever

retriever = NVIDIARetriever(base_url="http://localhost:8081", k=4)
docs = retriever.invoke("What is NVIDIA NIM?")
完整文档请参见 NVIDIARetriever 集成页面。

​
使用 NVIDIA NIM 微服务自托管

当您准备好部署 AI 应用时，可以使用 NVIDIA NIM 自托管模型。更多信息，请参阅 NVIDIA NIM 微服务。 
from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# 连接到在 localhost:8000 运行的聊天 NIM，指定模型
llm = ChatNVIDIA(base_url="http://localhost:8000/v1", model="nvidia/nemotron-3-nano-30b-a3b")

# 连接到在 localhost:8080 运行的嵌入 NIM
embedder = NVIDIAEmbeddings(base_url="http://localhost:8080/v1")

# 连接到在 localhost:2016 运行的重排序 NIM
ranker = NVIDIARerank(base_url="http://localhost:2016/v1")

​
使用 NVIDIA 加速 LangGraph

langchain-nvidia-langgraph 包为 LangGraph 图提供 NVIDIA 优化的执行策略。它在编译时提供两种互补优化：
  • 并行执行：自动识别独立节点并并发运行，消除不必要的顺序瓶颈。
  • 推测执行：条件边的两个分支同时运行；一旦路由条件确定，错误的分支将被丢弃。
这两种优化都不需要修改节点逻辑或图的边。

​
安装

pip install -qU langchain-nvidia-langgraph

​
并行执行

将 LangGraph 的 StateGraph 替换为 langchain_nvidia_langgraph.graph 中的 StateGraph。图定义的其余部分保持不变。 
from langchain_nvidia_langgraph.graph import StateGraph, OptimizationConfig
from langgraph.graph import END
from typing import TypedDict

class AgentState(TypedDict):
  ...

graph = StateGraph(AgentState)
app = graph.compile(optimization=OptimizationConfig(enable_parallel=True))
或者包装一个现有的 StateGraph： 
from langgraph.graph import StateGraph as LangGraphStateGraph
graph = LangGraphStateGraph(AgentState)
app = with_app_compile(graph).compile(optimization=OptimizationConfig(enable_parallel=True))
装饰器可以明确控制哪些节点参与优化： 
from langchain_nvidia_langgraph.graph import sequential, depends_on, speculation_unsafe

# 防止节点被并行化（例如，它写入共享状态）
@sequential
def write_to_db(state):
    ...

# 声明图边中未表达的依赖关系
@depends_on("wrte_to_db")
def next_action(state):
    ...

​
推测执行

在编译时通过 OptimizationConfig 启用推测。执行器并行运行条件分支的两侧，并保留与路由决策匹配的结果。 
app = graph.compile(optimization=OptimizationConfig(enable_speculation=True))

​
通过 LangSmith 遥测进行 NeMo Agent Toolkit 优化

NVIDIA NeMo Agent Toolkit 是一个用于构建、分析和优化 Agent 的开源 AI 工具包。开发者可以使用最少的代码更改将 LangChain 与 NeMo Agent Toolkit 结合使用，以启用性能分析、评估、GPU 容量规划和自动化优化。NeMo Agent Toolkit 与 LangSmith 互操作。

​
全栈蓝图

NVIDIA 和 LangChain 合作了 全栈深度 Agent 示例，展示了如何将所有这些组件组合用于两个企业用例，重点关注生产就绪性：
  • NVIDIA AI-Q 是一个用于跨企业数据源深度研究的蓝图
  • NVIDIA VSS 是一个用于视频搜索和摘要的蓝图

​
其他资源

在 GitHub 上编辑此页面 或 提交问题。
将这些文档连接 到 Claude、VSCode 等，通过 MCP 获取实时答案。