Skip to main content
专为 OpenAI 模型设计的中间件。了解更多关于中间件的信息。

内容审核

使用 OpenAI 的审核端点审核代理流量(用户输入、模型输出和工具结果),以检测和处理不安全的内容。内容审核适用于以下场景:
  • 需要内容安全和合规性的应用程序
  • 过滤有害、仇恨或不适当的内容
  • 需要安全防护的面向客户的代理
  • 满足平台审核要求
了解更多关于 OpenAI 的审核模型和分类的信息。
API 参考: OpenAIModerationMiddleware
ModerationModel
default:"omni-moderation-latest"
要使用的 OpenAI 审核模型。选项:'omni-moderation-latest''omni-moderation-2024-09-26''text-moderation-latest''text-moderation-stable'
bool
default:"True"
是否在调用模型之前检查用户输入消息
bool
default:"True"
是否在调用模型之后检查模型输出消息
bool
default:"False"
是否在调用模型之前检查工具结果消息
string
default:"end"
当内容被标记时如何处理违规行为。选项:
  • 'end' - 立即结束代理执行并显示违规消息
  • 'error' - 抛出 OpenAIModerationError 异常
  • 'replace' - 用违规消息替换被标记的内容并继续
str | None
违规消息的自定义模板。支持模板变量:
  • {categories} - 逗号分隔的被标记分类列表
  • {category_scores} - 分类分数的 JSON 字符串
  • {original_content} - 原始被标记的内容
默认值:"I'm sorry, but I can't comply with that request. It was flagged for {categories}."
OpenAI | None
可选的预配置 OpenAI 客户端以供重用。如果未提供,将创建一个新客户端。
AsyncOpenAI | None
可选的预配置 AsyncOpenAI 客户端以供重用。如果未提供,将创建一个新的异步客户端。
该中间件集成了 OpenAI 的审核端点,以在不同阶段检查内容:审核阶段:
  • check_input - 模型调用前的用户消息
  • check_output - 模型调用后的 AI 消息
  • check_tool_results - 模型调用前的工具输出
退出行为:
  • 'end'(默认) - 停止执行并显示违规消息
  • 'error' - 抛出异常供应用程序处理
  • 'replace' - 替换被标记的内容并继续