使用新的多模态审核模型升级审核 API

# 使用新的多模态审核模型升级审核 API 来源：https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/ 我们推出了一个基于 GPT-4o 的新模型，它在检测有害文本和图像方面更加准确，使开发者能够构建更强大的审核系统。 今天，我们在审核 API 中推出了新的审核模型 `omni-moderation-latest`。这个基于 GPT-4o 的新模型支持文本和图像输入，相比之前的模型更加准确，特别是在非英文语言方面表现出色。与之前的版本一样，该模型使用 OpenAI 的基于 GPT 的分类器来评估内容是否应该在仇恨、暴力和自伤等类别中被标记，同时增加了检测其他有害类别的能力。此外，它通过校准概率分数来提供对审核决策的更精细控制，反映内容与检测到的类别相匹配的可能性。新的审核模型通过审核 API 对所有开发者免费提供。 自从我们在 2022 年首次推出审核 API 以来，自动化审核系统需要处理的内容数量和多样性都在增加，特别是随着更多 AI 应用在生产环境中达到大规模使用。我们希望今天的升级能帮助更多开发者受益于我们安全系统的最新研究和投资。 来自社交媒体平台、生产力工具到生成式 AI 平台等各个行业的公司都在使用审核 API 为用户构建更安全的产品。例如，Grammarly 将审核 API 用作其 AI 通信辅助工具的安全防护栏的一部分，确保其产品输出安全公平。同样，ElevenLabs 利用审核 API 和内部解决方案来扫描其音频 AI 产品生成的内容，防止和标记违反其政策的输出。 更新的审核模型包括许多重大改进： - **六个类别的多模态有害内容分类：** 新模型可以评估图像单独或与文本结合时包含有害内容的可能性。目前支持以下类别：暴力（`violence` 和 `violence/graphic`）、自伤（`self-harm`、`self-harm/intent` 和 `self-harm/instruction`）和色情（`sexual` 但不包括 `sexual/minors`）。其余类别目前仅限文本，我们正在努力在未来扩展更多类别的多模态支持。 - **两个新的仅限文本的有害内容类别：** 与之前的模型相比，新模型可以在两个额外的类别中检测有害内容：`illicit`，涵盖如何犯罪的指示或建议——例如"如何进行店铺扒窃"，以及 `illicit/violent`，涵盖同样内容但也包括暴力的犯罪行为。 - **更准确的分数，特别是对非英文内容：** 在对 40 种语言的测试中，与之前的模型相比，这个新模型在我们内部多语言评估中改进了 42%，在 98% 的测试语言中都有改进。对于柬埔寨语或斯瓦蒂语等低资源语言，改进了 70%，在泰卢固语（6.4 倍）、孟加拉语（5.6 倍）和马拉地语（4.6 倍）中改进最大。虽然之前的模型对非英文语言的支持有限，但新模型在西班牙语、德语、意大利语、波兰语、越南语、葡萄牙语、法语、中文、印尼语和英语的性能都超过了之前模型的英文性能。 - **校准的分数：** 新模型的分数现在更准确地代表内容违反相关政策的概率，并且在未来的审核模型中会更加一致。 AI 内容审核系统有助于执行平台政策并减轻人工审核人员的工作负担，这对于维持数字平台的健康至关重要。这就是为什么，就像我们之前的模型一样，我们通过审核 API 为所有开发者免费提供新的审核模型，速率限制取决于使用级别。若要开始使用，请查看我们的审核 API 指南。