通过一致性训练减少政治操纵

Hugging Face Daily Papers 论文
large-language-models political-bias reinforcement-learning consistency-training ai-safety

摘要

本文介绍了政治一致性训练（PCT），一种基于强化学习的方法，旨在减少大语言模型中的隐性政治偏见，同时保持其有用性，并发布了用于衡量情感一致性和有用性一致性的指标。

大语言模型（LLMs）在多种敏感场景中表现出系统性的政治偏见。我们发现，LLMs在处理来自对立政治立场的对应话题时存在不对称性。我们将此现象称为隐性政治偏见，并识别了其运作的7类技术。我们提出了两种衡量隐性偏见的指标：情感一致性衡量配对政治提示中修辞和框架的对称性；有用性一致性衡量深度和参与度的对称性。为减少这两类隐性偏见，我们引入了政治一致性训练（PCT），这是一种包含两种互补范式的强化学习方法：情感一致性训练和有用性一致性训练。我们证明，PCT在保持整体有用性的同时，显著减少了隐性政治偏见，并能泛化到未见的基准测试中。我们在https://political-manipulation.ai发布了相关工作。
查看原文
查看缓存全文

缓存时间: 2026/05/29 15:02

论文页面 - 通过一致性训练减少政治操纵

来源：https://huggingface.co/papers/2605.22771

摘要

大型语言模型在处理对立观点时表现出系统性的政治偏见，通过一种强化学习方法可以在保持有用性的同时减少这种偏见。

大型语言模型 (https://huggingface.co/papers?q=Large%20language%20models)(LLMs) 在多种敏感情境下展现出系统性的政治偏见 (https://huggingface.co/papers?q=political%20bias)。我们发现，LLMs 对来自对立政治派别的同类话题处理方式不对称。我们将此现象称为隐性政治偏见 (https://huggingface.co/papers?q=covert%20political%20bias)，并识别出其运作的7种技术类别。我们提出了两种隐性偏见指标：情感一致性 (https://huggingface.co/papers?q=Sentiment%20Consistency) 衡量配对的正面与反面政治提示在修辞和框架上的对称性；助益一致性 (https://huggingface.co/papers?q=Helpfulness%20Consistency) 衡量响应深度和参与度的对称性。为减少这两种隐性偏见，我们引入了政治一致性训练 (https://huggingface.co/papers?q=Political%20Consistency%20Training) (PCT)，这是一种包含两种互补范式的强化学习方法：情感一致性训练 (https://huggingface.co/papers?q=Sentiment%20Consistency)和助益一致性训练 (https://huggingface.co/papers?q=Helpfulness%20Consistency)。我们证明PCT能够保持整体有用性，显著减少隐性政治偏见 (https://huggingface.co/papers?q=covert%20political%20bias)，并泛化到未见的基准测试上。我们在 https://political-manipulation.ai 发布了我们的工作。

查看 arXiv 页面 (https://arxiv.org/abs/2605.22771) 查看 PDF (https://arxiv.org/pdf/2605.22771) 项目页面 (https://political-manipulation.ai/) GitHub (https://github.com/centerforaisafety/political-manipulation) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.22771)

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2605.22771，以从此页面链接到它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.22771，以从此页面链接到它。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2605.22771，以从此页面链接到它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中，以从此页面链接到它。

相似文章

Self-CTRL：基于强化学习的自一致性训练

arXiv cs.LG

Self-CTRL 是一种强化学习方法，旨在提高语言模型自我解释与实际行为之间的一致性。它显著提升了自我报告偏差与测量偏差之间的相关性，并将拒绝预测准确率从36%提升到92%，同时减少了有害响应率。

定义和评估 LLM 中的政治偏见

OpenAI Blog

OpenAI 推出了一个全面的框架来定义和评估 LLM 中的政治偏见，引入了跨越 5 个偏见轴线、包含 100 个主题的 500 条提示评估。结果显示 GPT-5 模型相比之前的版本实现了 30% 的偏见减少，少于 0.01% 的生产环境中的 ChatGPT 回复存在政治偏见。

默认极化：LLM 内容策展中的推荐偏差审计

arXiv cs.CL

本文对 OpenAI、Anthropic 和 Google 的基于 LLM 的内容策展推荐偏差进行了大规模审计，使用了来自 Twitter/X、Bluesky 和 Reddit 数据的 540,000 次模拟选择。研究发现 LLM 系统性地放大极化现象，在毒性处理方面表现出不同的权衡，并显示出显著的政治倾向偏差，倾向于左倾作者，尽管数据集中右倾作者占多数。