Skip to main content
推理令牌揭示了像 OpenAI 的 o1/o3 和 Anthropic 的 Claude(具有扩展思考能力)等高级模型的内部思考过程。这些模型生成结构化的内容块,将推理与最终答案分离开来,使您能够构建展示模型如何得出其响应的用户界面。

什么是推理令牌?

当具有推理能力的模型处理提示时,它们会生成两种不同类型的内容:
  1. 推理块:模型的内部思维链、问题分解和逐步分析
  2. 文本块:呈现给用户的最终、精炼的响应
这些内容作为 AIMessage 中的类型化内容块传递,可通过 contentBlocks 属性访问:
并非所有模型都会生成推理令牌。此模式专门适用于支持扩展思考或思维链输出的模型。标准聊天模型仅返回文本块。

用例

  • 透明度:向用户展示模型的推理过程,以建立对其答案的信任
  • 调试:检查模型的思考过程,以识别其出错之处
  • 教育工具:通过揭示 AI 如何处理问题来教授学生解决问题
  • 决策支持:让领域专家验证推荐背后的推理
  • 质量保证:在受监管行业中审计推理链的合规性

提取推理块和文本块

AIMessage 上的 contentBlocks 数组包含按生成顺序排列的所有块。按 type 过滤它们以分离推理和文本:
单个消息可能包含多个推理块(例如,如果模型暂停其推理,生成部分文本,然后继续推理)。将它们连接起来即可获得完整的思考过程。

useStream 访问消息

导入您的代理,并将 typeof myAgent 作为类型参数传递给 useStream,以实现对状态值的类型安全访问:

构建 ThinkingBubble 组件

ThinkingBubble 在一个视觉上独特的可折叠容器中呈现推理令牌。用户可以展开它以查看完整的思考过程,或折叠它以专注于最终答案。

ThinkingBubble 的样式

通过独特的视觉处理将推理块与常规消息区分开来:

推理的流式指示器

当模型仍在生成推理令牌时,显示一个动画指示器以传达思考正在进行中:
在流式传输期间,默认保持 ThinkingBubble 折叠状态,仅显示旋转器。在流式传输过程中展开可能会导致布局抖动,因为新令牌会不断到达。让用户在推理阶段完成后再展开。

渲染完整的 AI 响应

ThinkingBubble 和标准文本气泡组合成一个 AIResponse 组件:

处理边缘情况

没有推理的消息

并非每条 AI 消息都会包含推理块。当 contentBlocks 仅包含文本块时,渲染标准消息气泡,不包含 ThinkingBubble。

空的推理块

某些模型会生成空的推理块作为占位符。过滤掉这些:

多个推理-文本循环

单个消息可以在推理块和文本块之间交替。如果需要保留这种交错,请按顺序迭代 contentBlocks,而不是按类型分组:

最佳实践

  • 默认折叠:按需显示推理,而非默认显示
  • 显示字符数:让用户快速了解响应背后进行了多少思考
  • 视觉区分:使用不同的颜色、边框或背景,确保推理永远不会与实际答案混淆
  • 动画过渡:平滑的展开/折叠动画可提升感知质量
  • 考虑无障碍性:在切换按钮上使用适当的 ARIA 属性(aria-expandedaria-controls
  • 在预览中截断:折叠时显示推理的简短预览,以便用户决定是否展开