评估 ChatGPT 的公平性

# 评估 ChatGPT 的公平性 来源：https://openai.com/index/evaluating-fairness-in-chatgpt/ 创建我们的模型不仅需要数据——我们还会精心设计训练流程来减少有害输出并提高实用性。研究表明，语言模型有时仍可能会从训练数据中吸收并重复社会偏见，例如性别或种族刻板印象。 在这项研究中，我们探索了关于用户身份的微妙线索——比如他们的名字——如何影响 ChatGPT 的响应。这很重要，因为人们以各种方式使用 ChatGPT，从帮助他们起草简历到寻求娱乐建议，这些应用场景与 AI 公平性研究中通常研究的情境不同，例如简历筛选或信用评分。 虽然以前的研究专注于第三方公平性（机构使用 AI 来做出关于他人的决定），但这项研究考察的是第一方公平性，或偏见如何直接影响 ChatGPT 用户。作为起点，我们测量了 ChatGPT 对不同用户名字的认识*在完全相同的请求中*可能如何影响其对每个用户的响应。名字通常携带文化、性别和种族关联，使其成为调查偏见的相关因素——特别是因为用户经常与 ChatGPT 分享他们的名字来完成起草电子邮件等任务。ChatGPT 可以跨对话记住名字等信息，除非用户关闭了[内存](https://openai.com/index/memory-and-new-controls-for-chatgpt/)功能。 为了专注于公平性研究，我们调查了使用名字是否会导致*反映有害刻板印象的响应*。虽然我们期望并希望 ChatGPT 根据用户偏好来定制响应，但我们希望它这样做时不会引入有害的偏见。为了说明我们寻找的响应差异和有害刻板印象的类型，请考虑以下示例： 理解语言模型中的公平性是一个很大的研究领域，我们承认我们的研究有局限性。并非所有人都会分享他们的名字，除了名字以外的其他信息也可能对 ChatGPT 的第一方公平性产生影响。它主要关注英语互动、基于常见美国名字的二元性别关联，以及四个种族和民族（黑人、亚洲人、西班牙裔和白人）。这项研究仅涵盖文本交互，尽管我们注意到关于 GPT-4o 系统卡中的音频中的发言人人口统计的第一方公平性也进行了分析（请参阅"语音输入的差异性能"）。虽然我们认为这种方法是向前迈出的一步，但要理解与其他人口统计、语言和文化背景相关的偏见，还有更多工作要做。我们计划基于这项研究来更广泛地改进公平性。