算法公平性的统计与结构性方法

# 算法公平性的统计学与结构方法 来源：https://arxiv.org/html/2606.26200 \RedeclareSectionCommand[beforeskip=1ex, afterskip=1ex]chapter\RedeclareSectionCommand[beforeskip=0.8ex, afterskip=0.8ex]section\RedeclareSectionCommand[beforeskip=0.8ex, afterskip=0.8ex]subsection\RedeclareSectionCommand[beforeskip=0.8ex]paragraph Antonio Ferrara 算法公平性的统计学与结构方法 博士论文 为获得技术科学博士学位 提交至格拉茨技术大学 导师：Univ.-Prof. Dr. Fariba Karimi 以人为本计算研究所 格拉茨，2026年6月19日 > 我声明本论文为独立完成，未使用除声明来源/资源外的其他资料，并已明确标注所有直接引用或内容上引用的材料。上传至TUGRAZonline的文本文件与本博士论文完全一致。 日期，签名 ## 摘要 现代机器学习系统已超越其作为孤立预测构想的起源，演变为复杂的社会技术架构，主动调节着人类的机会。随着算法日益决定经济和社会机会的获取，人们广泛认识到这些系统深深嵌入了其所在环境的结构性不平等与偏见。算法公平性领域应运而生，以应对日益增长的共识：为预测精度优化的模型可能系统性地边缘化弱势群体。然而，早期的缓解策略依赖于脆弱的简化假设，限制了其在复杂社会技术环境中的有效性。本论文识别并指出现有公平性范式的两个根本局限：一是依赖确定性点估计进行审计，二是将个体视为缺乏结构背景的孤立实体。 首先，算法不公平性的诊断传统上依赖于标量指标，无法捕捉现实部署中的细微差别。这种确定性方法忽略了交叉小群体中固有的高统计方差，常导致偏见误报或漏检。此外，标准审计在处理黑箱模型的不透明性时捉襟见肘，频繁混淆不可辩护的偏见与合法特征的影响。再者，传统指标主要关注结果差异，忽视了模型的程序逻辑，未能检测群体是否受到不同、歧视性的决策过程。为解决这些诊断缺陷，本论文提出向统计假设检验转型，确保公平性评估具有统计稳健性、因果有效性，并能审视模型决策的潜在解释。 其次，本论文通过结构性视角审视算法公平性，挑战当前对孤立预测的主流关注。在网络化与层级化系统中，公平性是交互、连通性和比较过程（支配该领域）的涌现属性。网络拓扑并非中性；当优化目标与这些结构交互时，它们可能主动集中可见性并边缘化已处于外围的社区。类似地，层级结构与排名常将人类偏见固化为系统性劣势。通过将焦点转向这些结构性依赖，本论文证明实现公平性需要有意重塑机会如何在网络中流动，以及如何推断和聚合“功绩”。 最终，本论文推进了将统计可靠性与结构意识相结合的综合框架。通过用统计假设检验替代脆弱的审计指标，引入主动缓解结构性系统（包括物理路由、社交网络和排名）中偏见的概念，并辅以运行保障措施（如不确定性下弃权及全生命周期偏见治理），本论文为部署可信人工智能提供了坚实基础。 ## 致谢 我深深感谢Prof. Fariba Karimi在整个博士期间对我的指导，她提供了学术自由与善意引导的绝佳结合。她富有洞察力的建议和明智的反馈对本工作的成形具有无价价值。此外，我衷心感谢Prof. Claudia Wagner在我博士最初几年的指导与支持，以及Prof. Francesco Bonchi在博士最后阶段的指导与启发。我也要感谢来自TU Graz、GESIS、NoBias和CENTAI的所有同事和朋友，感谢他们美妙的友谊和智力激励。特别感谢我的女友Veronica，在我撰写论文期间给予无限耐心，并一起熬过紧张的死线，甚至在马尔代夫度假期间还经历了NeurIPS的反驳环节。Grazie mille amorino. 最后，最深切的感谢献给我的家人，感谢他们无条件的支持，对我的信任，以及始终给予我追随所选道路的自由。 ###### 目录 1. 1 引言 (https://arxiv.org/html/2606.26200#chapter1) 1. 1.1 算法公平性的基础与挑战 (https://arxiv.org/html/2606.26200#S1) 2. 2 研究问题 (https://arxiv.org/html/2606.26200#S2) 3. 3 论文列表 (https://arxiv.org/html/2606.26200#S3) 1. 3.0.1 作为第一作者 (https://arxiv.org/html/2606.26200#S3.SSx1.SSS1) 2. 3.0.2 作为共同作者 (https://arxiv.org/html/2606.26200#S3.SSx1.SSS2) 3. 3.0.3 作为共同作者 (https://arxiv.org/html/2606.26200#S3.SSx2.SSS3) 4. 4 路线图 (https://arxiv.org/html/2606.26200#S4) 2. 2 背景与相关工作 (https://arxiv.org/html/2606.26200#chapter2) 1. 5 算法公平性的定义 (https://arxiv.org/html/2606.26200#S5) 2. 6 检测不公平性 (https://arxiv.org/html/2606.26200#S6) 3. 7 缓解不公平性 (https://arxiv.org/html/2606.26200#S7) 3. 3 贡献总结 (https://arxiv.org/html/2606.26200#chapter3) 1. 8 公平性测试与审计的贡献 (https://arxiv.org/html/2606.26200#S8) 2. 9 网络结构中公平性的贡献 (https://arxiv.org/html/2606.26200#S9) 3. 10 排名与成对比较中公平性的贡献 (https://arxiv.org/html/2606.26200#S10) 4. 11 可靠性与安全性的贡献 (https://arxiv.org/html/2606.26200#S11) 4. 4 公平性测试与审计 (https://arxiv.org/html/2606.26200#chapter4) 1. 12 面向公平性的尺寸自适应假设检验 (https://arxiv.org/html/2606.26200#S12) 2. 13 不透明排名中人口偏见的审计 (https://arxiv.org/html/2606.26200#S13) 3. 14 超越人口平等：重新定义平等待遇 (https://arxiv.org/html/2606.26200#S14) 5. 5 网络结构中的公平性 (https://arxiv.org/html/2606.26200#chapter5) 1. 15 超越最短路径：路线推荐中的节点公平性 (https://arxiv.org/html/2606.26200#S15) 2. 16 链接推荐：对网络结构与少数群体的影响 (https://arxiv.org/html/2606.26200#S16) 3. 17 基于图推荐系统的城市社会经济指标超分辨率 (https://arxiv.org/html/2606.26200#S17) 6. 6 排名与成对比较中的公平性 (https://arxiv.org/html/2606.26200#chapter6) 1. 18 基于成对比较的偏见感知排名 (https://arxiv.org/html/2606.26200#S18) 2. 19 基于成对比较的公平感知排名恢复 (https://arxiv.org/html/2606.26200#S19) 3. 20 FairMC：公平马尔可夫链排名聚合方法 (https://arxiv.org/html/2606.26200#S20) 7. 7 公平性的安全与政策 (https://arxiv.org/html/2606.26200#chapter7) 1. 21 有界弃权的成对学习排序 (https://arxiv.org/html/2606.26200#S21) 2. 22 关于AI中偏见与公平性的政策建议与最佳实践 (https://arxiv.org/html/2606.26200#S22) 8. 8 结论、局限与未来工作 (https://arxiv.org/html/2606.26200#chapter8) 1. 参考文献 (https://arxiv.org/html/2606.26200#bib) ## 第1章 引言 > “技术既非好也非坏；但也绝非中性。” – 梅尔文·克兰兹伯格[kranzberg1986technology] ### 1 算法公平性的基础与挑战 人工智能融入现代社会的基础设施，代表了一场前所未有的技术变革。我们生活在一个时代，人生中最具决定性的选择——如何找到工作、如何获得信贷、如何消费信息、甚至如何在物理世界中导航——都由人工智能所中介。每一天，数十亿的人类需求被转化为查询，数十亿的算法响应塑造着这些欲望的轨迹。在数字时代的最初几十年里，这些系统的主要挑战是准确性：最小化独立同分布数据点上的错误率。成功由单一数字定义，例如在通常静态的测试集上计算的准确率、精确率或AUC。优化景观被视为一个技术前沿，没有道德重量。背后的假设是中性的：如果一个算法在数据上训练以最大化数学目标函数，它就扮演着客观质量仲裁者的角色。 本论文基于一个基本前提：中性时代的假设已不可逆转地终结。随着算法系统从被动工具转变为社会和经济机会的主动守门人，它们的功能已不像技术仪器，而更像制度。它们不仅描述世界，还塑造世界。如今，算法决定谁能获得信贷、谁能获得面试机会、哪些社区获得基础设施投资、以及信息如何在公共领域传播。社会技术系统领域的一个关键认识是：一个算法可以在平均上高度准确，同时系统性地歧视特定子群体。信用评分模型可能会最大化整体利润，但由于训练数据中编码的历史红线政策，拒绝向信用良好的少数族裔申请人放贷。在线市场可能通过突出热门品牌提升整体销售额，却将来自小企业、少数族裔拥有的高质量产品埋没。路线推荐系统可能优化全局交通流，同时通过将所有步行人流引离特定社区，从而在经济上扼杀当地企业。 算法公平性领域旨在解决这些差异，最初通过定义统计约束，如统计均等[dwork2012fairness]（要求群体间正向预测率相等）或均等机会[hardt2016equality]（要求真阳性率和假阳性率误差率相等），以在由敏感属性（如种族、性别或年龄）定义的群体间强制执行公平结果。尽管具有奠基性，但这一早期公平性研究依赖于几个关键的简化，这些简化如今限制了在复杂现实场景中审计和干预的有效性。具体而言，本论文旨在解决当前文献中的两大局限：过度依赖点估计进行公平性评估，以及未能考虑个体间的相互依赖性，特别是嵌入在网络和层级中的结构关系。 #### 从点估计到公平性测试 算法公平性的首要基本挑战之一是诊断不平等的存在。在纠正算法系统之前，必须可靠地衡量其不公平性。然而，算法公平性的操作化传统上依赖于脆弱的简化，包括将差异计算为点估计。标准实践中，从业者选择一个指标，如统计均等[dwork2012fairness]或均等机会[hardt2016equality]，在测试集上计算为标量值，并将结果与固定阈值（例如“四分之五规则”[greenberg1979analysis]）进行比较。本论文认为，这种确定性的标量方法不足以应对现代社会技术系统的复杂性。对简单点估计的依赖未能考虑现实部署的几个关键维度： 1. 1. 小群体的可靠性：它忽略了有限交叉样本中估计量的高方差，导致小群体中的误报和大群体中的漏检。 2. 2. 直接与间接影响：它无法区分不可辩护的偏见和由合法任务相关特征解释的差异，尤其是在内部逻辑不可访问的不透明“黑箱”系统中。 3. 3. 过程透明度：它仅测量最终结果分布，未能检测模型是否通过歧视性推理或代理变量达到公平结果。 在本论文中，我们通过引入全面的审计框架来解决这些局限，该框架从比较点估计转向进行统计假设检验。 小群体的可靠性：标准审计的第一个失效模式是精度的错觉。当我们分解数据以审计交叉子群体（由受保护属性如种族、性别和年龄的组合定义）时，样本量自然缩小。随着审计粒度的增加，公平性估计量的方差激增。在论文1 (https://arxiv.org/html/2606.26200#S3.I1.i1)（面向公平性的尺寸自适应假设检验）中，我们证明标准指标经常在交叉群体中标记出本质上属于噪声的违规，同时由于刚性阈值而错过较大群体中的显著差异。我们通过将公平性审计重新构建为假设检验问题来解决这一问题。我们引入了一个尺寸自适应框架，对大样本使用Wald检验，对小样本使用贝叶斯推断。这种方法使我们能够定义公平性的“分辨率极限”：给定子群体大小可检测的最小差异，有效创建了一个数据不足以拒绝公平性原假设的“无能力区域”。 区分直接与间接影响：即使样本量足够，标准差异指标也可能具有误导性，因为它们通常仅测量边际依赖性，而不考虑条件依赖性。在许多高风险排名应用（如招聘或信贷评分）中，审计者通常可以访问输入特征、受保护属性和输出排名，但无法访问模型的内部评分函数。机器学习系统可能表现出与受保护属性（例如性别）的相关性，仅仅是因为该属性与合法的任务相关特征（例如教育水平）相关。像统计均等这样的标准指标会将此标记为不公平，可能迫使进行降低效用的修正。相反，一个模型可能在平均上表面公平，但隐藏着“残余”偏见，即对于两个具有相同任务相关特征的个体，受保护群体成员始终排名较低。在论文2 (https://arxiv.org/html/2606.26200#S3.I1.i2)（不透明排名中人口偏见的审计）中，我们提出了一种在严格黑箱假设下检测这种残余依赖的方法。我们超越了代表性的点估计。