使用 GPT-4 进行内容审核

# 使用 GPT-4 进行内容审核 来源：https://openai.com/index/using-gpt-4-for-content-moderation/ 内容审核需要细致的工作、敏感性、对上下文的深刻理解，以及对新用例的快速适应，这使其既耗时又具有挑战性。传统上，这项任务的负担落在人工审核员身上，他们需要筛选大量内容以过滤有毒和有害的材料，并由较小的垂直领域特定机器学习模型提供支持。这个过程本质上很缓慢，而且会对人工审核员造成精神压力。 我们正在探索使用大语言模型来应对这些挑战。我们的大语言模型（如 GPT-4）能够理解和生成自然语言，使其适用于内容审核。这些模型可以根据提供给它们的政策指南做出审核判断。 通过这个系统，开发和定制内容政策的过程从数月缩短到数小时。 1. 一旦政策指南制定完成，政策专家可以通过识别少量示例并根据政策为其分配标签来创建黄金数据集。 2. 然后，GPT-4 读取该政策并对同一数据集分配标签，而无需查看答案。 3. 通过检查 GPT-4 的判断与人工判断之间的差异，政策专家可以要求 GPT-4 解释其标签背后的推理，分析政策定义中的模糊之处，解决混淆并在政策中提供进一步的澄清。我们可以重复第 2 和第 3 步，直到对政策质量满意为止。 这个迭代过程产生精化的内容政策，这些政策被转换为分类器，使得能够大规模部署该政策和内容审核。 可选地，为了大规模处理大量数据，我们可以使用 GPT-4 的预测来微调一个更小的模型。 我们正在积极探索进一步提高 GPT-4 预测质量的方法，例如通过融入思维链推理或自我批评。我们也在尝试检测未知风险的方法，并受到 Constitutional AI 的启发，旨在利用模型根据对有害内容的高级描述来识别潜在有害内容。这些发现随后将用于更新现有内容政策，或开发全新风险领域的政策。 语言模型的判断容易受到在训练过程中可能引入模型的不希望的偏见影响。与任何人工智能应用一样，结果和输出需要由保持人类参与来仔细监控、验证和改进。通过减少人工在审核过程中可由语言模型处理的某些部分的参与，人力资源可以更专注于解决最需要进行政策改进的复杂边界情况。随着我们继续完善和发展这种方法，我们致力于透明度，并将继续与社区分享我们的学习和进展。