PUe: 基于因果推断的有偏正-无标记学习增强

# PUe：通过因果推断增强有偏正-无标记学习  
来源：https://arxiv.org/html/2607.13428  

王旭涛 陈汉廷 郭天宇 王云鹤  
华为诺亚方舟实验室  
\{xutao.wang, chenhanting, tianyu.guo, yunhe.wang\}@huawei.com  

###### 摘要  

正-无标记（PU）学习旨在利用少量标记正样本和大量未标记样本，实现高精度的二分类。现有基于代价敏感的方法通常依赖于一个强假设：观察到正标签的样本是完全随机选择的。实际上，标签分布不均匀在现实PU问题中普遍存在，这意味着大多数实际的正样本和未标记数据都受到选择偏差的影响。基于Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)的SAR-PU倾向加权框架，我们研究了一个使用归一化倾向得分和归一化逆概率加权（NIPW）的PU学习增强框架（PUe）。PUe的主要贡献包括：归一化逆概率加权的PU风险公式；对有偏标记下归一化样本权重误差和常见PU估计器的额外理论分析；正则化深度倾向得分估计；与现代代价敏感PU方法的集成；以及对选择性标记负类别的支持。在MNIST、CIFAR-10和ADNI上的实验表明，在非均匀标签分布下，PUe优于多个PU基线方法。代码可在GitHub (https://github.com/huawei-noah/Noah-research/tree/master/PUe) 和 Gitee (https://gitee.com/mindspore/models/tree/master/research/cv/PUe) 获取。  

## 1 引言  

在大数据时代，深度神经网络在各种任务中取得了卓越的性能，甚至在许多情况下超越了人类表现，尤其是在传统的二分类问题中。这些深度神经网络的成功往往依赖于使用大量标记数据的监督学习。然而，现实中，即使获取二分类标签也可能具有挑战性。例如，在推荐系统中，用户对电影的多次点击可能被视为正样本。但其他所有电影不能被认为不感兴趣，因此不应视为负样本，而应视为未标记样本。同样的出现在文本分类中：通常更容易定义一部分正样本，但由于负样本的多样性，很难甚至不可能描述一个涵盖所有不在正样本中的内容的完整负样本集。类似情况也出现在医学诊断、恶意URL检测和垃圾邮件检测中，其中只有少数标记的正样本，而大量数据是未标记的。这种场景是经典二分类设置的一个变体，称为PU学习。近年来，对此设置的研究兴趣日益增长。  

正-未标记（PU）学习主要解决仅从正样本和未标记数据中学习二分类器的挑战。在以往研究中，已开发了许多PU算法，其中代价敏感PU学习成为一个热门研究方向。诸如[2](https://arxiv.org/html/2607.13428#bib.bib2)、[3](https://arxiv.org/html/2607.13428#bib.bib3)、[4](https://arxiv.org/html/2607.13428#bib.bib4)等方法通过超参数重新加权正风险和负风险并最小化它。此外，Self-PU [5](https://arxiv.org/html/2607.13428#bib.bib5)通过辅助任务（包括模型校准和蒸馏）将自监督引入nnPU；ImbPU [6](https://arxiv.org/html/2607.13428#bib.bib6)通过过采样和修改样本权重来处理不平衡数据；Dist-PU [7](https://arxiv.org/html/2607.13428#bib.bib7)通过先验信息纠正分类模型的负偏好；PUSB [8](https://arxiv.org/html/2607.13428#bib.bib8)保持保序假设。然而，这些方法需要假设其检查集是从总体中均匀采样的，否则PU学习风险估计器将不再是无偏或一致的估计器，从而导致模型准确性降低。实际上，标记集往往是有偏的，并不符合完全随机选择（SCAR）假设[9](https://arxiv.org/html/2607.13428#bib.bib9)、[1](https://arxiv.org/html/2607.13428#bib.bib1)（该假设认为观察到的标记示例是完整正样本集的随机子集）。因此，放松对标记集的假设并用关于标记机制的更一般假设来替代是必要的：选择正样本进行标记的概率取决于其属性值，这称为随机选择（SAR）假设[9](https://arxiv.org/html/2607.13428#bib.bib9)。  

最直接相关的先前工作是Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)，该工作在随机选择（SAR）标记机制下研究了超越SCAR的正-未标记学习。PUe将这一SAR-PU基础适应为归一化PU风险公式，对归一化加权和有偏标记下常见PU估计器进行了额外的理论分析，利用正则化深度模型估计倾向得分，并将得到的校正与现代代价敏感PU方法集成。Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)与PUe之间详细的组件级比较见附录D。Gerych等人[10](https://arxiv.org/html/2607.13428#bib.bib10)也是相关的工作，但重点不同，关注恢复可识别倾向得分的条件。该工作讨论了局部确定性和概率间隙假设。在局部确定性假设下，正类和负类假设之间没有重叠，即\(p(x^{\widehat{P}} \mid y=0)=0\)。在概率间隙假设下，假设\(e = k p(y=1 \mid x)\)是线性的并且存在一个锚点。我们主要使用该工作来激发倾向得分估计的挑战。然而，上述假设过于严格。我们在附录中表明，估计的倾向得分不可能完全无偏。  

为了解决上述问题，我们提出了一种受因果推断启发的PU学习框架，称为PUe。我们的方法使用倾向加权来校正有偏条件下原始PU学习风险估计器；PUe使用归一化逆概率权重来公式化这种校正。由于样本的倾向得分通常是未知的，我们应用正则化技术到深度学习分类器上，以估计标记集中每个样本的倾向得分。所提出方法的示意图如图1所示。PUe进一步分析了有偏标记下归一化样本权重误差和常见PU估计器，并将归一化倾向校正与现代代价敏感PU算法集成。  

• 标记正样本  
∘ 未标记负样本  
• 未标记正样本  
分类边界  

(a) 传统PU  
(b) 提出的PUe  

图1：我们的方法与传统PU方法的分类示意图。PUe通过重新加权使分类平面更准确。  

我们的主要贡献总结如下：  

- • 对于有偏正-未标记学习，我们在PU风险公式中引入了归一化逆概率加权的PUe。  
- • 我们开发了有偏标记下归一化样本权重误差和常见PU估计器的额外理论分析。  
- • 我们将倾向得分估计扩展到深度神经网络，并引入正则化以减少过拟合和退化的倾向估计。  
- • 我们将归一化倾向加权机制与代价敏感PU方法（包括uPU、nnPU、PUbN和Dist-PU）集成。  
- • 我们将框架扩展到选择性标记的负类别，得到PUbNe。  
- • 我们在MNIST、CIFAR-10和阿尔茨海默病神经成像倡议（ADNI）数据库上评估了所得框架。  

## 2 方法  

在本节中，我们回顾现有的PU算法及其在有偏标记场景下的局限性，然后介绍PUe以改进有偏标记下的PU学习。  

### 2.1 PU分类回顾  

在标准PN分类中，设 \(x \in \mathbb{R}^d\) 和 \(y \in \{+1, -1\}\) 分别为输入样本及其对应标签。我们有从 \(p_P(x) = p(x \mid y=+1)\) 和 \(p_N(x) = p(x \mid y=-1)\) 独立采样的正数据和负数据，分别记为 \(\chi_P = \{x_i^P\}_{i=1}^{n_P}\) 和 \(\chi_N = \{x_i^N\}_{i=1}^{n_N}\)。我们将类别先验概率记为 \(\pi = p(y=1)\)，并遵循惯例，在整个论文中假设 \(\pi\) 是已知的[11](https://arxiv.org/html/2607.13428#bib.bib11)。在有偏正样本和未标记样本下也可以估计类别先验[12](https://arxiv.org/html/2607.13428#bib.bib12)。设 \(g: \mathbb{R}^d \to \mathbb{R}\) 为二分类器，\(\theta\) 为其参数，\(L: \mathbb{R} \times \{+1, -1\} \to \mathbb{R}_+\) 为损失函数。定义 \(R_P(g, +1) = \mathbb{E}_{x \sim p_P(x)}[L(g(x), +1)]\) 和 \(R_N(g, -1) = \mathbb{E}_{x \sim p_N(x)}[L(g(x), -1)]\)。经验PN风险为：  

\[
\widehat{R}_{PN}(g) = \pi \widehat{R}_P(g, +1) + (1-\pi) \widehat{R}_N(g, -1),
\tag{1}
\]

其中  

\[
\widehat{R}_P(g, +1) = \frac{1}{n_P} \sum_{i=1}^{n_P} L(g(x_i^P), +1), \quad \widehat{R}_N(g, -1) = \frac{1}{n_N} \sum_{i=1}^{n_N} L(g(x_i^N), -1).
\]

在标准PU分类中，代替负数据 \(\chi_N\)，我们有未标记样本 \(\chi_U = \{x_i^U\}_{i=1}^{n_U} \sim p(x)\)。由于 \(p(x) = \pi p_P(x) + (1-\pi) p_N(x)\)，我们有  

\[
(1-\pi) R_N(g, -1) = R_U(g, -1) - \pi R_P(g, -1).
\tag{2}
\]

无偏PU经验风险为：  

\[
\widehat{R}_{uPU}(g) = \pi \widehat{R}_P(g, +1) + \widehat{R}_U(g, -1) - \pi \widehat{R}_P(g, -1),
\tag{3}
\]

其中  

\[
\widehat{R}_P(g, -1) = \frac{1}{n_P} \sum_{i=1}^{n_P} L(g(x_i^P), -1), \quad \widehat{R}_U(g, -1) = \frac{1}{n_U} \sum_{i=1}^{n_U} L(g(x_i^U), -1).
\]

理论上，风险 \((1-\pi) R_N(g, -1) = R_U(g, -1) - \pi R_P(g, -1)\) 是非负的。然而，如果 \(g\) 过于灵活，\(\widehat{R}_{PU}(\hat{g}_{PU})\) 可能变为负值，模型可能严重过拟合训练数据。PU学习的非负风险估计器缓解了过拟合问题[11](https://arxiv.org/html/2607.13428#bib.bib11)。  

### 2.2 有偏场景下的PU分类  

PU学习大多假设所有标记样本是从所有正样本中完全随机选择的，这称为完全随机选择（SCAR）。  

###### 定义1 (SCAR, 完全随机选择[4](https://arxiv.org/html/2607.13428#bib.bib4))。标记示例是从正分布中完全随机选择的，独立于其属性。倾向得分 \(e(x)\)（选择正样本的概率）是常数，等于标签频率：  

\[
e(x) = p(s=1 \mid x, y=1) = p(s=1 \mid y=1) = c.
\tag{4}
\]

然而，许多PU学习应用受到标记偏差的影响。SCAR假设不符合现实。例如，某人是否点击赞助搜索广告受到其放置位置的影响。同样，患有某种疾病的患者是否会去看医生取决于社会经济状况和症状严重程度。随机选择（SAR）假设是对标记机制更一般的假设：选择正样本进行标记的概率取决于属性值[13](https://arxiv.org/html/2607.13428#bib.bib13)。  

###### 定义2 (SAR, 随机选择[1](https://arxiv.org/html/2607.13428#bib.bib1))。标记机制取决于示例的属性值。然而，给定属性值，它不再进一步依赖于示例为正的概率。SAR假设所有正样本被标记的概率不是常数，而是示例属性子集的函数：  

\[
e(x) = p(s=1 \mid x, y=1).
\]

受用于校正选择偏差的因果推断方法的启发，[1](https://arxiv.org/html/2607.13428#bib.bib1)引入了使用倾向得分和逆概率加权（IPW）来构建有偏PU学习的归一化校正[14](https://arxiv.org/html/2607.13428#bib.bib14)、[15](https://arxiv.org/html/2607.13428#bib.bib15)。与标准因果推断中的倾向得分的一个关键区别是，PU倾向得分是以类别为正为条件的。由于负样本被标记为正的概率为零，IPW应用于标记的正样本分量。对于每个标记示例 \((x_i, s_i=1)\)，其倾向得分为 \(e_i\)，预计有 \(1/e_i\) 个正样本。  

我们建议通过使用归一化逆倾向加权（NIPW）来增强这一框架。正风险可以按倾向水平分解：  

\[
R_P(g, +1) = \mathbb{E}_{x \sim p_P(x)}[L(g(x), +1)] = \mathbb{E}_{c \in (0,1]} \left\{ \mathbb{E}_{x \sim p_P(x)}[L(g(x), +1) \mid e(x)=c] \right\}.
\tag{5}
\]

具有归一化逆倾向权重的PUe正风险估计器为：  

\[
\widehat{R}_P^e(g, +1) = \sum_{i=1}^{n_P} \omega_i^P L(g(x_i^P), +1).
\tag{6}
\]

类似地，  

\[
\widehat{R}_P^e(g, -1) = \sum_{i=1}^{n_P} \omega_i^P L(g(x_i^P), -1).
\tag{7}
\]

这里 \(e(x_i^P)\) 是真实倾向得分，\(\widehat{e}(x_i^P)\) 是其估计值。归一化逆权重为：  

\[
\omega_i^P = \frac{1/e(x_i^P)}{\sum_{j=1}^{n_P} 1/e(x_j^P)}, \qquad \widehat{\omega}_i^P = \frac{1/\widehat{e}(x_i^P)}{\sum_{j=1}^{n_P} 1/\widehat{e}(x_j^P)}.
\]

因此 \(\sum_{i=1}^{n_P} \omega_i^P = 1\), \(\sum_{i=1}^{n_P} \widehat{\omega}_i^P = 1\)。  

现有的倾向得分估计方法，如Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)中的SAR-EM，...  

（注意：原文在此处被截断，但根据前面的内容，后续是继续介绍PUe的方法。由于输入只到“existing propensity-score estimation methods such as SAR-EM in Bekker et al.[1]”，我们遵循原样翻译，省略号表示原文继续。但为了完整性，我们应翻译“现有倾向得分估计方法，如Bekker等人[1]中的SAR-EM”并保留省略号表示后续内容。实际上，原文在省略号后是另一个段落，但用户提供的文本在“existing propensity...”后结束。所以我们需要按照给定的完整文本翻译。用户提供的内容截至“existing propensity-score estimation methods such as SAR-EM in Bekker et al.[1]”，所以翻译到那里即可。但从上下文看，原文是完整的，可能用户只提供了部分。我们按提供的文本翻译。注意用户消息最后有未完成感，但我们只翻译给出的部分。我们保持原样，不添加内容。  

最终的翻译应包含从摘要到方法2.2结束的所有内容。确保格式正确。  

开始输出。# PUe：通过因果推断增强有偏正-无标记学习  
来源：https://arxiv.org/html/2607.13428  

王旭涛 陈汉廷 郭天宇 王云鹤  
华为诺亚方舟实验室  
\{xutao.wang, chenhanting, tianyu.guo, yunhe.wang\}@huawei.com  

###### 摘要  

正-无标记（PU）学习旨在利用少量标记正样本和大量未标记样本，实现高精度的二分类。现有基于代价敏感的方法通常依赖于一个强假设：观察到正标签的样本是完全随机选择的。实际上，标签分布不均匀在现实PU问题中普遍存在，这意味着大多数实际的正样本和未标记数据都受到选择偏差的影响。基于Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)的SAR-PU倾向加权框架，我们研究了一个使用归一化倾向得分和归一化逆概率加权（NIPW）的PU学习增强框架（PUe）。PUe的主要贡献包括：归一化逆概率加权的PU风险公式；对有偏标记下归一化样本权重误差和常见PU估计器的额外理论分析；正则化深度倾向得分估计；与现代代价敏感PU方法的集成；以及对选择性标记负类别的支持。在MNIST、CIFAR-10和ADNI上的实验表明，在非均匀标签分布下，PUe优于多个PU基线方法。代码可在GitHub (https://github.com/huawei-noah/Noah-research/tree/master/PUe) 和 Gitee (https://gitee.com/mindspore/models/tree/master/research/cv/PUe) 获取。  

## 1 引言  

在大数据时代，深度神经网络在各种任务中取得了卓越的性能，甚至在许多情况下超越了人类表现，尤其是在传统的二分类问题中。这些深度神经网络的成功往往依赖于使用大量标记数据的监督学习。然而，现实中，即使获取二分类标签也可能具有挑战性。例如，在推荐系统中，用户对电影的多次点击可能被视为正样本。但其他所有电影不能被认为不感兴趣，因此不应视为负样本，而应视为未标记样本。同样的问题出现在文本分类中：通常更容易定义一部分正样本，但由于负样本的多样性，很难甚至不可能描述一个涵盖所有不在正样本中的内容的完整负样本集。类似情况也出现在医学诊断、恶意URL检测和垃圾邮件检测中，其中只有少数标记的正样本，而大量数据是未标记的。这种场景是经典二分类设置的一个变体，称为PU学习。近年来，对此设置的研究兴趣日益增长。  

正-未标记（PU）学习主要解决仅从正样本和未标记数据中学习二分类器的挑战。在以往研究中，已开发了许多PU算法，其中代价敏感PU学习成为一个热门研究方向。诸如[2](https://arxiv.org/html/2607.13428#bib.bib2)、[3](https://arxiv.org/html/2607.13428#bib.bib3)、[4](https://arxiv.org/html/2607.13428#bib.bib4)等方法通过超参数重新加权正风险和负风险并最小化它。此外，Self-PU [5](https://arxiv.org/html/2607.13428#bib.bib5)通过辅助任务（包括模型校准和蒸馏）将自监督引入nnPU；ImbPU [6](https://arxiv.org/html/2607.13428#bib.bib6)通过过采样和修改样本权重来处理不平衡数据；Dist-PU [7](https://arxiv.org/html/2607.13428#bib.bib7)通过先验信息纠正分类模型的负偏好；PUSB [8](https://arxiv.org/html/2607.13428#bib.bib8)保持保序假设。然而，这些方法需要假设其检查集是从总体中均匀采样的，否则PU学习风险估计器将不再是无偏或一致的估计器，从而导致模型准确性降低。实际上，标记集往往是有偏的，并不符合完全随机选择（SCAR）假设[9](https://arxiv.org/html/2607.13428#bib.bib9)、[1](https://arxiv.org/html/2607.13428#bib.bib1)（该假设认为观察到的标记示例是完整正样本集的随机子集）。因此，放松对标记集的假设并用关于标记机制的更一般假设来替代是必要的：选择正样本进行标记的概率取决于其属性值，这称为随机选择（SAR）假设[9](https://arxiv.org/html/2607.13428#bib.bib9)。  

最直接相关的先前工作是Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)，该工作在随机选择（SAR）标记机制下研究了超越SCAR的正-未标记学习。PUe将这一SAR-PU基础适应为归一化PU风险公式，对归一化加权和有偏标记下常见PU估计器进行了额外的理论分析，利用正则化深度模型估计倾向得分，并将得到的校正与现代代价敏感PU方法集成。Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)与PUe之间详细的组件级比较见附录D。Gerych等人[10](https://arxiv.org/html/2607.13428#bib.bib10)也是相关的工作，但重点不同，关注恢复可识别倾向得分的条件。该工作讨论了局部确定性和概率间隙假设。在局部确定性假设下，正类和负类假设之间没有重叠，即\(p(x^{\widehat{P}} \mid y=0)=0\)。在概率间隙假设下，假设\(e = k p(y=1 \mid x)\)是线性的并且存在一个锚点。我们主要使用该工作来激发倾向得分估计的挑战。然而，上述假设过于严格。我们在附录中表明，估计的倾向得分不可能完全无偏。  

为了解决上述问题，我们提出了一种受因果推断启发的PU学习框架，称为PUe。我们的方法使用倾向加权来校正有偏条件下原始PU学习风险估计器；PUe使用归一化逆概率权重来公式化这种校正。由于样本的倾向得分通常是未知的，我们应用正则化技术到深度学习分类器上，以估计标记集中每个样本的倾向得分。所提出方法的示意图如图1所示。PUe进一步分析了有偏标记下归一化样本权重误差和常见PU估计器，并将归一化倾向校正与现代代价敏感PU算法集成。  

• 标记正样本  
∘ 未标记负样本  
• 未标记正样本  
分类边界  

(a) 传统PU  
(b) 提出的PUe  

图1：我们的方法与传统PU方法的分类示意图。PUe通过重新加权使分类平面更准确。  

我们的主要贡献总结如下：  

- • 对于有偏正-未标记学习，我们在PU风险公式中引入了归一化逆概率加权的PUe。  
- • 我们开发了有偏标记下归一化样本权重误差和常见PU估计器的额外理论分析。  
- • 我们将倾向得分估计扩展到深度神经网络，并引入正则化以减少过拟合和退化的倾向估计。  
- • 我们将归一化倾向加权机制与代价敏感PU方法（包括uPU、nnPU、PUbN和Dist-PU）集成。  
- • 我们将框架扩展到选择性标记的负类别，得到PUbNe。  
- • 我们在MNIST、CIFAR-10和阿尔茨海默病神经成像倡议（ADNI）数据库上评估了所得框架。  

## 2 方法  

在本节中，我们回顾现有的PU算法及其在有偏标记场景下的局限性，然后介绍PUe以改进有偏标记下的PU学习。  

### 2.1 PU分类回顾  

在标准PN分类中，设 \(x \in \mathbb{R}^d\) 和 \(y \in \{+1, -1\}\) 分别为输入样本及其对应标签。我们有从 \(p_P(x) = p(x \mid y=+1)\) 和 \(p_N(x) = p(x \mid y=-1)\) 独立采样的正数据和负数据，分别记为 \(\chi_P = \{x_i^P\}_{i=1}^{n_P}\) 和 \(\chi_N = \{x_i^N\}_{i=1}^{n_N}\)。我们将类别先验概率记为 \(\pi = p(y=1)\)，并遵循惯例，在整个论文中假设 \(\pi\) 是已知的[11](https://arxiv.org/html/2607.13428#bib.bib11)。在有偏正样本和未标记样本下也可以估计类别先验[12](https://arxiv.org/html/2607.13428#bib.bib12)。设 \(g: \mathbb{R}^d \to \mathbb{R}\) 为二分类器，\(\theta\) 为其参数，\(L: \mathbb{R} \times \{+1, -1\} \to \mathbb{R}_+\) 为损失函数。定义 \(R_P(g, +1) = \mathbb{E}_{x \sim p_P(x)}[L(g(x), +1)]\) 和 \(R_N(g, -1) = \mathbb{E}_{x \sim p_N(x)}[L(g(x), -1)]\)。经验PN风险为：  

\[
\widehat{R}_{PN}(g) = \pi \widehat{R}_P(g, +1) + (1-\pi) \widehat{R}_N(g, -1),
\tag{1}
\]

其中  

\[
\widehat{R}_P(g, +1) = \frac{1}{n_P} \sum_{i=1}^{n_P} L(g(x_i^P), +1), \quad \widehat{R}_N(g, -1) = \frac{1}{n_N} \sum_{i=1}^{n_N} L(g(x_i^N), -1).
\]

在标准PU分类中，代替负数据 \(\chi_N\)，我们有未标记样本 \(\chi_U = \{x_i^U\}_{i=1}^{n_U} \sim p(x)\)。由于 \(p(x) = \pi p_P(x) + (1-\pi) p_N(x)\)，我们有  

\[
(1-\pi) R_N(g, -1) = R_U(g, -1) - \pi R_P(g, -1).
\tag{2}
\]

无偏PU经验风险为：  

\[
\widehat{R}_{uPU}(g) = \pi \widehat{R}_P(g, +1) + \widehat{R}_U(g, -1) - \pi \widehat{R}_P(g, -1),
\tag{3}
\]

其中  

\[
\widehat{R}_P(g, -1) = \frac{1}{n_P} \sum_{i=1}^{n_P} L(g(x_i^P), -1), \quad \widehat{R}_U(g, -1) = \frac{1}{n_U} \sum_{i=1}^{n_U} L(g(x_i^U), -1).
\]

理论上，风险 \((1-\pi) R_N(g, -1) = R_U(g, -1) - \pi R_P(g, -1)\) 是非负的。然而，如果 \(g\) 过于灵活，\(\widehat{R}_{PU}(\hat{g}_{PU})\) 可能变为负值，模型可能严重过拟合训练数据。PU学习的非负风险估计器缓解了过拟合问题[11](https://arxiv.org/html/2607.13428#bib.bib11)。  

### 2.2 有偏场景下的PU分类  

PU学习大多假设所有标记样本是从所有正样本中完全随机选择的，这称为完全随机选择（SCAR）。  

###### 定义1 (SCAR, 完全随机选择[4](https://arxiv.org/html/2607.13428#bib.bib4))。标记示例是从正分布中完全随机选择的，独立于其属性。倾向得分 \(e(x)\)（选择正样本的概率）是常数，等于标签频率：  

\[
e(x) = p(s=1 \mid x, y=1) = p(s=1 \mid y=1) = c.
\tag{4}
\]

然而，许多PU学习应用受到标记偏差的影响。SCAR假设不符合现实。例如，某人是否点击赞助搜索广告受到其放置位置的影响。同样，患有某种疾病的患者是否会去看医生取决于社会经济状况和症状严重程度。随机选择（SAR）假设是对标记机制更一般的假设：选择正样本进行标记的概率取决于属性值[13](https://arxiv.org/html/2607.13428#bib.bib13)。  

###### 定义2 (SAR, 随机选择[1](https://arxiv.org/html/2607.13428#bib.bib1))。标记机制取决于示例的属性值。然而，给定属性值，它不再进一步依赖于示例为正的概率。SAR假设所有正样本被标记的概率不是常数，而是示例属性子集的函数：  

\[
e(x) = p(s=1 \mid x, y=1).
\]

受用于校正选择偏差的因果推断方法的启发，[1](https://arxiv.org/html/2607.13428#bib.bib1)引入了使用倾向得分和逆概率加权（IPW）来构建有偏PU学习的归一化校正[14](https://arxiv.org/html/2607.13428#bib.bib14)、[15](https://arxiv.org/html/2607.13428#bib.bib15)。与标准因果推断中的倾向得分的一个关键区别是，PU倾向得分是以类别为正为条件的。由于负样本被标记为正的概率为零，IPW应用于标记的正样本分量。对于每个标记示例 \((x_i, s_i=1)\)，其倾向得分为 \(e_i\)，预计有 \(1/e_i\) 个正样本。  

我们建议通过使用归一化逆倾向加权（NIPW）来增强这一框架。正风险可以按倾向水平分解：  

\[
R_P(g, +1) = \mathbb{E}_{x \sim p_P(x)}[L(g(x), +1)] = \mathbb{E}_{c \in (0,1]} \left\{ \mathbb{E}_{x \sim p_P(x)}[L(g(x), +1) \mid e(x)=c] \right\}.
\tag{5}
\]

具有归一化逆倾向权重的PUe正风险估计器为：  

\[
\widehat{R}_P^e(g, +1) = \sum_{i=1}^{n_P} \omega_i^P L(g(x_i^P), +1).
\tag{6}
\]

类似地，  

\[
\widehat{R}_P^e(g, -1) = \sum_{i=1}^{n_P} \omega_i^P L(g(x_i^P), -1).
\tag{7}
\]

这里 \(e(x_i^P)\) 是真实倾向得分，\(\widehat{e}(x_i^P)\) 是其估计值。归一化逆权重为：  

\[
\omega_i^P = \frac{1/e(x_i^P)}{\sum_{j=1}^{n_P} 1/e(x_j^P)}, \qquad \widehat{\omega}_i^P = \frac{1/\widehat{e}(x_i^P)}{\sum_{j=1}^{n_P} 1/\widehat{e}(x_j^P)}.
\]

因此 \(\sum_{i=1}^{n_P} \omega_i^P = 1\), \(\sum_{i=1}^{n_P} \widehat{\omega}_i^P = 1\)。  

现有的倾向得分估计方法，如Bekker等人[1](https://arxiv.org/html/2607.13428#bib.bib1)中的SAR-EM...