一种面向连续敏感属性的公平表示的联合分布途径

arXiv cs.LG 论文
fair-representation-learning continuous-sensitive-attributes hilbert-schmidt-independence-criterion kernel-methods demographic-parity statistical-efficiency

摘要

本文提出了一种面向连续敏感属性的公平表示学习的联合分布方法，使用HSIC作为联合差异度量以避免条件密度估计。文章证明了相较于条件路径方法在统计效率上的提升，并介绍了FRHSIC算法，其公平性-准确性权衡相当且训练更快。

arXiv:2608.10470v1 公告类型：新 摘要：具有连续敏感属性 $S$ 的公平表示学习需要表示 $Z$ 在统计上独立于 $S$。现有准则，包括广义人口统计均等、积分概率度量期望（EIPM）和互信息，通过对 $S$ 的分布对条件分布 $P_{Z \mid S=s}$ 与边缘分布 $P_Z$ 之间的逐值差异进行平均来强制实现这种独立性。这种方法需要在每个敏感值处使用条件的非参数替代。我们提出通过联合分布 $P_{Z, S}$ 与其边缘分布乘积 $P_Z \otimes P_S$ 之间的单个联合差异 $d\left(P_{Z, S}, P_Z \otimes P_S\right)$ 来评估独立性。我们建立了一个分解恒等式；在可分解的见证类上，它等同于 EIPM 和广义人口统计均等所实例化的条件积分泛函。通过在无需条件分布的情况下达到相同目标，这种差异可以直接从样本中通过依赖统计量而非条件平滑来估计。我们以希尔伯特-施密特独立性准则（HSIC）作为联合差异 $d$ 的一个实例，来研究替换条件公式的统计效率。HSIC 估计量是一个闭式 $O\left(n^2\right)$ 统计量，以 $O\left(n^{-1 / 2}\right)$ 速率收敛，而条件路径估计器的非参数速率为 $O\left(n^{-2 / 5}\right)$。我们证明该实例在显式谱尾部之前等价于条件最大均值差异（MMD）积分。相应的算法实现即 FRHSIC 在公平性-准确性权衡上与条件路径基线相当，同时减少了每轮训练时间。
查看原文
查看缓存全文

缓存时间: 2026/08/12 08:29 

# 面向连续敏感属性的公平表示：联合分布路径††致谢：\funding 本研究部分得到NSF基金2229876、佐治亚理工学院A. Russell Chandler III讲席教授基金、NIH资助的佐治亚临床与转化科学联盟以及佐治亚州交通部的支持。来源：https://arxiv.org/html/2608.10470 \\newsiamremark remarkRemark\\newsiamthmassumptionAssumption\\headersJoint-Distribution Route to Fair RepresentationsY\. Ni and X\. Huo Yijin NiH\. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA 30332\-0205 USA \(, \)\. ORCID iDs:0000\-0002\-7209\-6887 (https://orcid.org/0000-0002-7209-6887)\(Ni\) and0000\-0003\-0101\-1206 (https://orcid.org/0000-0003-0101-1206)\(Huo\)\. ###### 摘要 
具有连续敏感属性SS的公平表示学习要求表示ZZ与SS统计独立，即Z⟂SZ\\perp S。现有的准则，包括广义人口统计均等、积分概率度量的期望（EIPM）以及互信息，均通过对条件分布PZ∣S=sP\_\{Z\\mid S=s\}与边缘分布PZP\_\{Z\}之间的逐值差异在SS的分布上取平均来强制实现这种独立性。这种方法需要在每个敏感值处为条件分布构造一个非参数替代。我们提出通过联合分布PZ,SP\_\{Z,S\}与其边缘分布乘积PZ⊗PSP\_\{Z\}\\otimes P\_\{S\}之间的单一联合差异d\(PZ,S,PZ⊗PS\)d\(P\_\{Z,S\},P\_\{Z\}\\otimes P\_\{S\}\)来评估独立性。我们建立了一个分解恒等式；在可分解见证函数类上，它等于EIPM和广义人口统计均等所实例化的条件积分泛函。由于该差异在无需条件分布的情况下达到了相同目标，因此可以通过依赖统计量直接从样本中估计，而不必进行条件平滑。我们以希尔伯特–施密特独立准则（HSIC）作为联合差异dd的一个实例，研究替换条件公式后的统计效率。HSIC估计量是一个闭式O\(n2\)O\(n^\{2\}\)统计量，以O\(n−1/2\)O\(n^\{\-1/2\}\)速率收敛，而条件路径估计器则是非参数的O\(n−2/5\)O\(n^\{\-2/5\}\)速率。我们证明该实例与条件最大均值差异（MMD）积分等价，直至一个显式的谱尾部。相应的算法实现FRHSIC在减少每轮训练时间的同时，实现了与条件路径基线相当的公平–精度权衡。 ###### 关键词: 公平表示

相似文章

通过将公平性视为对称操作来检测和缓解偏见

arXiv cs.AI

本文提出将公平性视为机器学习分类器中的对称操作，通过基于损失的规范化来实现在固定能力特征的同时，交换敏感属性时的不变性。该框架实现了超过90%的偏见减少，且准确率损失极小，无需因果图知识。

基于层的联邦表示学习

arXiv cs.LG

本文介绍了基于层的联邦表示学习（SFRL），这是一个通过可学习的层限制映射和二次粘合正则化器来对齐异构局部表示的框架，无需假设共享的全局潜在空间。提出了一种具有收敛保证的分散式算法（Sheaf-FRL），并证明其在与数据异构和模型异构下的协作分类中优于基线方法。

轻量级隐式神经表示的误差感知分布预测

arXiv cs.LG

本文提出了一种轻量级方法，通过将连续目标离散化为区间，将基于回归的隐式神经表示训练重新表述为分类任务，从而在科学数据压缩中实现灵活的分布建模，用于误差感知的不确定性估计。

偏好平均导致的RLHF程序公平性失败

arXiv cs.LG

本文指出，RLHF因平均化异质偏好而导致程序公平性失败：多数群体主导奖励学习，少数偏好代表性不足。文章提出了偏好感知RLHF（PA-RLHF），在受控实验中提升了对齐准确率并缩小了公平性差距。