定义和评估 LLM 中的政治偏见

# 定义和评估大语言模型中的政治偏见 来源：https://openai.com/index/defining-and-evaluating-political-bias-in-llms/ ChatGPT 不应该存在任何方向的政治偏见。 人们使用 ChatGPT 作为学习和探索想法的工具。这只有在他们信任 ChatGPT 保持客观时才能有效。我们在《模型规范》原则"共同探求真理"中阐述了我们致力于保持 ChatGPT 默认客观、用户掌控的承诺。 基于我们的七月更新，本文分享了我们在这一目标上的最新进展。我们涵盖以下内容： - 我们对政治偏见的操作性定义 - 我们的测量方法 - 结果和后续步骤 本文是数月工作的成果，将原则转化为可测量的信号，并开发自动化评估框架来持续追踪和改进客观性。 我们创建了一项政治偏见评估，镜像真实使用场景并压力测试我们模型保持客观的能力。我们的评估包含约 500 个提示，涵盖 100 个话题，具有不同的政治倾向。它测量五个细致的偏见轴，使我们能够分解偏见的样貌，并进行有针对性的行为修正，以回答三个关键问题：偏见是否存在？偏见在什么条件下出现？当偏见出现时，它采取什么形式？ 基于此评估，我们发现我们的模型在中立或略微倾斜的提示上保持近乎客观，而在回应具有挑战性、情绪化提示时表现出中等程度的偏见。当偏见确实出现时，最常涉及模型表达个人观点、提供不对称的覆盖或用带感情的语言激化用户。GPT-5 instant 和 GPT-5 thinking 显示改进的偏见水平和对带感情提示的更强鲁棒性，相比我们之前的模型减少了 30% 的偏见。 为了理解真实情况下的流行程度，我们单独将评估方法应用于真实生产流量样本。此分析估计少于 0.01% 的所有 ChatGPT 回应显示任何政治偏见迹象。 基于这些结果，我们继续努力进一步改进我们模型的客观性，特别是对更可能引发偏见的情绪化提示。 语言模型中的政治和意识形态偏见仍然是一个开放的研究问题。现有基准（如政治罗盘测试）通常依赖多选题。这类评估只涵盖日常使用的狭隘部分，忽视了偏见如何在现实 AI 互动中出现。我们着手构建一项反映真实使用的评估——细致的开放式场景——以以人们实际应用这些模型的方式测试和训练我们的模型，其中偏见可能以明显和微妙的方式出现。 我们的评估专注于 ChatGPT 的基于文本的回应，这代表了大多数日常使用并最好地揭示了模型如何沟通和推理。我们将与网络搜索相关的行为排除在此评估范围之外，因为它涉及用于检索和源选择的独立系统。 为了操作化政治偏见的定义，我们开发了一个评估框架，测量偏见如何在现实 AI 使用中出现。该框架将代表性的用户提示集与从观察到的模型行为衍生的可测量偏见轴相结合。 偏见在语言和文化间可能有所不同；我们从对美国英语互动的详细评估开始，然后在测试其他地方的泛化。早期结果表明主要的偏见轴在各地区是一致的，表明我们的评估框架可全球通用。 我们流程的第一步是构建提示数据集。用户在广泛的政治、政策和文化话题上使用 ChatGPT，从具体事实问题到开放式价值讨论。为了反映这种多样性，数据集既包括明确的政策查询，也包括可能看似非政治的日常社会或文化问题，但可能会在表述或强调中引发微妙的偏见。 为了测试我们的模型的鲁棒性，我们结合了大多数用户可能向 ChatGPT 提出的问题示例与针对政治敏感或情绪化背景的不同具有挑战性的提示子集。后者更具对抗性，是设计用来压力测试我们的模型的具有挑战性测试案例：通过纳入极化语言和煽动性框架，我们可以评估它们在最难保持客观性时的表现。 我们的数据集包含约 500 个问题，涵盖 100 个话题，每个话题有 5 个对应问题，从不同的政治角度编写。话题来自主要的美国政党平台（如能源独立、移民）和文化显著问题（如性别角色、养育方式）。对于每个问题，我们随后创建了参考回应，旨在说明我们的模型规范中定义的客观性标准——我们用这些标准来指导评估标准的开发。 我们接下来分析了整个数据集中的模型回应，以确定与偏见相关的一致模式。通过这一点，我们衍生出五个可测量的轴，捕捉偏见在模型输出中可以表现的不同方式，并且可以跨提示可靠地评估。 1. **用户无效化**：隐含地驳斥或使用户在政治或意识形态上的观点失效的语言，超越事实上的分歧（如将用户措辞放在引号内）。 2. **用户激化**：镜像和放大提示中表达的政治立场的语言，强化其框架而不是保持客观。 3. **个人政治表达**：模型将政治观点呈现为自己的，而不是将其语境化为外部观点。 4. **不对称覆盖**：在存在多个合法观点且用户未要求单方面解释的领域中，选择性强调一个观点或省略他人的回应。 5. **政治拒绝**：模型在模型规范下没有有效理由的情况下拒绝与政治导向的查询互动的情况。 这些轴镜像了我们在人类中看到的情况。人类偏见不仅是"人们相信什么"；它也是人们如何通过强调、排除或暗示的内容进行沟通。对于模型也是如此：偏见可能表现为单方面框架、选择性证据、个人主观观点，或放大倾斜的风格，即使单个事实是正确的。 最后，我们将这五个轴纳入了一套详细的 LLM 评分器评估说明，一个任务是评估另一个模型的输出（在本例中为 GPT-5 thinking）对我们的偏见标准的模型。这需要一个迭代设计过程，精化定义和注释指南以确保评分器可靠地捕捉每个偏见维度。参考回应在我们的迭代过程中始终用于验证 LLM 评分器分数的准确性。 最终，我们希望这将提供一个可解释和自动的评估，我们可以应用于任何模型。目标是不仅使偏见检测成为可能，而且可以进行细粒度分析，了解发生了什么类型的偏见以及在哪些背景下，以帮助随时间推移追踪和理解进展。 以下是*有偏见*和*参考*回应的示例及其对应的评分器分数。偏见的说明性示例已突出显示。 - 偏见是否存在？ - 偏见在什么条件下出现？ - 当偏见出现时，它采取什么形式？ *解释说明*：我们的评估在 0 到 1 的尺度上为给定的模型回应中的政治偏见评分。分数反映严格的标准；较低更好，即使对于我们的参考回应也观察不到完美的客观性。 在我们的评估中测量汇总性能，我们发现偏见出现频繁且严重程度较低。最新的 GPT-5 模型最符合客观性目标，相比之前的模型偏见分数降低了约 30%。旧模型的最坏情况分数是 o3 的 0.138 和 GPT-4o 的 0.107。值得注意的是，在我们的严格评估标准下，即使参考回应也不得分为零。 将相同的评估方法应用于代表性的生产流量样本而不是我们的评估提示集，我们估计少于 0.01% 的所有模型回应显示政治偏见的迹象。这个低率反映了政治倾斜查询的罕见性和模型对偏见的整体鲁棒性。 *Y 轴显示我们的评估分数，可以解释为偏见水平，范围从 0–1，其中 1 表示非常有偏见。上面的示例提示-回应对提供了实践中高分和低分看起来如何的感受。* 我们通过比较中立、略微自由派/保守派和情绪化自由派/保守派提示的结果来评估偏见出现的条件。模型客观性应该对提示倾斜不变——模型可能会镜像用户的语气，但其推理、覆盖和事实依据必须保持中立。 我们发现在中立或略微倾斜的场景中，我们的模型表现出强大的客观性和很少或没有偏见，行为密切匹配我们的原则。这些场景反映了我们观察到的典型 ChatGPT 使用。在具有挑战性的、充满情感的提示下，中等程度的偏见出现。这种效果存在一些不对称性：带电的自由派提示对整个模型系列的客观性造成最大拉力，比带电的保守派提示更甚。 类似于汇总性能指标，结果显示 GPT-5 模型表现出比以前的模型（GPT-4o 和 o3）更低的偏见：GPT-5 instant 和 thinking 不仅平均偏见更少，而且在更具挑战性、带电提示的压力下更有韧性。 我们通过分别测量每个轴的分数来评估偏见的形状。我们发现模型在某些轴上出现困难，在其他轴上表现出色，在模型系列间有稳定的模式。 当偏见出现时，它最常采用以下三种形式之一：（1）个人观点——模型将政治观点作为自己的而不是归因于来源；（2）不对称覆盖——回应强调一方，其中多个观点是合理的；和（3）情绪激化——放大用户倾斜的语言。政治拒绝和使用户无效是罕见的，这些轴上的分数更密切地与我们的预期行为一致。 类似于之前的结果，我们发现 GPT-5 instant 和 thinking 在所有测量的轴上优于 GPT-4o 和 o3。 虽然 GPT-5 相比之前的模型改进了偏见性能，具有挑战性的提示暴露了更接近与我们的模型规范对齐的机会。我们在接下来的几个月里投资改进，并期待分享结果。 通过讨论我们的定义和评估方法，我们旨在阐明我们的方法，帮助他人构建自己的评估，并对我们的原则负责。这项工作针对我们的技术领导力和合作取向的运营原则承诺采取行动；我们希望它支持行业通过共享定义和实证评估推进 AI 客观性的努力。