用于嘈杂标签聚合的对偶-原始图变分自编码器

# 用于噪声标签聚合的对偶-原始图变分自编码器

来源：https://arxiv.org/html/2608.11473

Nikolaus Kriegeskorte  
隶属机构：Zuckerman Institute  
隶属机构：Columbia University

###### 摘要

从噪声众包标签中推断真实标签是一个重要的理论和实践问题。基于神经网络的方法为经典贝叶斯模型提供了一种替代方案，后者需要指定用于推断的生成模型族。然而，当前模型要么仍然依赖相当简单的生成模型进行推断，要么需要伪标签或合成数据来训练聚合分类器。我们提出了一种图变分自编码器（graph VAE）架构，其中解码器和编码器分别使用基于GAT的消息传递机制，作用于众包数据集的邻接图及其对偶图。真实标签被视为潜在变量，从而无需训练单独的分类器即可实现无监督表示学习。我们表明，我们的模型在众包基准测试上达到了最先进的性能。然后，我们通过展示如何扩展原始众包图以整合辅助信息（例如来自在噪声标签上训练的神经网络分类器的表示）来证明我们方法的通用性，从而在测试时显著提升其分类性能。

## 1 引言

将来自不完美分类器的估计聚合为整体“元分类”这一主题既植根于统计学习理论[43 (https://arxiv.org/html/2608.11473#bib.bib51),7 (https://arxiv.org/html/2608.11473#bib.bib52)]，也植根于更通俗的统计学，正如Galton著名的“群体智慧”现象所阐明的那样[8 (https://arxiv.org/html/2608.11473#bib.bib53)]。如今，众包已成为从神经连接组映射[42 (https://arxiv.org/html/2608.11473#bib.bib54)]到世界事件预测[49 (https://arxiv.org/html/2608.11473#bib.bib55)]等一系列应用中的常用工具。如果群体成员在不同的估计任务中被多次征询，那么通过对个体工作者的响应模式进行参数化，并基于这些参数化修正整体估计，可以改进诸如多数投票（MV）这类简单的群体响应估计方法[5 (https://arxiv.org/html/2608.11473#bib.bib49)]。可以构建越来越复杂的层次贝叶斯模型[18 (https://arxiv.org/html/2608.11473#bib.bib13),25 (https://arxiv.org/html/2608.11473#bib.bib12),48 (https://arxiv.org/html/2608.11473#bib.bib56)]来对群体响应进行建模；然而，一个关键的局限在于这些生成模型必须手工设计。由深度神经网络（DNN）参数化的潜在变量模型[20 (https://arxiv.org/html/2608.11473#bib.bib5),38 (https://arxiv.org/html/2608.11473#bib.bib57),33 (https://arxiv.org/html/2608.11473#bib.bib58)]消除了手工设计的需要。然而，基于生成建模的众包方法[59 (https://arxiv.org/html/2608.11473#bib.bib1)]不得不仅使用简单的变换来在观测到的群体响应与潜在变量之间进行映射。

众包数据可以表示为一个二分图，工作者节点和任务节点之间的边表示噪声标签。近期工作使用图上的表示学习来参数化工作者-任务交互[27 (https://arxiv.org/html/2608.11473#bib.bib3),57 (https://arxiv.org/html/2608.11473#bib.bib2)]；然而，由于这些方法缺乏显式的生成模型和推断模型，必须学习一个单独的分类器来将学习到的表示映射到真实标签估计。由于真实标签未知，必须使用伪标签（即真实标签的代理，如MV），而伪标签质量可能较低，从而产生次优的分类器。

我们提出通过在图文自编码器[21 (https://arxiv.org/html/2608.11473#bib.bib59)]架构中整合表示学习来克服当前潜在变量模型和基于表示的模型的不足之处。具体来说，我们使用图注意力网络（GAT）[52 (https://arxiv.org/html/2608.11473#bib.bib4)]来指定一个给定任务潜在编码的边的生成模型（解码器）。编码器模型是对偶图上的GAT，其中边表示被转换为潜在编码分布。此外，我们展示了如何将我们的方法推广到整合图上不同来源的信息以进行节点推断。具体来说，我们将众包图扩展，加入一组对应DNN（在噪声标签上训练）图像表示的节点，并使用我们的方法进行推断，从而产生比单独使用任一来源都显著更准确的估计。

## 2 预备知识

我们给定一组 \( N \) 个标注任务，其中每个索引为 \( n \) 的任务都有一个未观测的真实值 \( t_n^* \in [L] \)。\( M \) 个工作者各自标注这些任务的子集，第 \( m \) 个工作者的标注子集表示为 \( \mathcal{N}(m) \)。整个众包数据集可以被视为一个二分图，包含一组由 \( m \in [M] \) 索引的工作者节点和一组由 \( n \in [N] \) 索引的任务节点；如果工作者 \( m \) 标注了任务 \( n \)，则工作者节点 \( m \) 和任务节点 \( n \) 之间存在一条边。边 \( E[(m,n)] \) 的值是工作者 \( m \) 为任务 \( n \) 提供的（可能带有噪声的）标注。目标是从工作者标注中估计真实任务标签 \( t^* = \{t_n^*\}_{n=1}^{N} \)。

我们的策略是将带噪声的工作者标注建模为未观测真实标签的可观测投影，并将真实标签视为潜在变量。为了对任务-工作者交互进行建模，我们使用众包图上的GAT消息传递，在给定真实标签值（我们将其视为由 \( t = \{t_n\}_{n=1}^{N} \) 给出的潜在变量）的条件下，对观测到的边（标注）进行建模。潜在真实标签的推断则通过众包图对偶图上的GAT消息传递来完成。对偶图和原始图上的GAT分别用作编码器模型和解码器模型，以构成一个VAE。

## 3 相关工作

### 3.1 完全贝叶斯方法

贝叶斯分类器组合[18 (https://arxiv.org/html/2608.11473#bib.bib13)]将Dawid-Skene[5 (https://arxiv.org/html/2608.11473#bib.bib49)]的经典方法推广开来，它假设一个噪声标注的生成模型，该模型要么由个体工作者的混淆矩阵参数化（称为iBCC，即独立模型），要么由联合标注响应参数化（称为dBCC，即依赖模型）。然而，依赖模型对于涉及多个工作者的数据集通常难以处理。增强贝叶斯分类器组合（EBCC）[25 (https://arxiv.org/html/2608.11473#bib.bib12)]通过使用张量秩分解[15 (https://arxiv.org/html/2608.11473#bib.bib50)]来近似群体标注概率的联合分布，从而使工作者依赖性的建模变得可处理。

### 3.2 基于潜在编码的方法

标签感知自编码器（LAA）[59 (https://arxiv.org/html/2608.11473#bib.bib1)]在概念上可能与我们的方法最为相似，因为它们也使用VAE[20 (https://arxiv.org/html/2608.11473#bib.bib5)]架构，其中（部分）潜在空间表示真实标签。然而，其编码器由从整个群体响应空间（缺失数据用零表示）到潜在空间的直接变换组成，解码器则是另一个从潜在空间到群体响应空间的直接变换。直接建模变换意味着变换必须相对简单（例如，仿射变换），以确保潜在空间的可解释性。这种简单变换可能缺乏对数据集底层结构进行建模所需的表达能力。类似的技术也用于[39 (https://arxiv.org/html/2608.11473#bib.bib10)]中，与众包基准不同，该工作包含了任务级信息，例如来自图像分类任务的图像数据。该工作使用了一个DNN图像分类器，但瓶颈层表示真实标签的逻辑值。与LAA类似，一个仿射变换将潜在空间映射到群体响应空间。

### 3.3 表示学习

GOVERN [27 (https://arxiv.org/html/2608.11473#bib.bib3)] 使用数据增强来构建一个对比损失函数[3 (https://arxiv.org/html/2608.11473#bib.bib15),60 (https://arxiv.org/html/2608.11473#bib.bib16)]，该函数利用图卷积网络（GCN）[13 (https://arxiv.org/html/2608.11473#bib.bib18)]形成的表示。然而，由于真实标签没有被显式表示，必须使用伪标签训练一个单独的分类器。TiReMGE [57 (https://arxiv.org/html/2608.11473#bib.bib2)] 使用工作者和项的多视图图表示[10 (https://arxiv.org/html/2608.11473#bib.bib19)]，以最小化工作者标注与任务表示之间的工作者可靠性加权范数差。然而，由于该模型不生成边预测，因此没有明确的方法进行交叉验证以选择必要的超参数。CrowdFM [26 (https://arxiv.org/html/2608.11473#bib.bib17)] 采取了另一种方法：生成大量合成数据，并使用基于注意力的消息传递来学习表示，然后将这些表示解码为真实标签估计。该模型通过监督学习进行训练。然而，这种方法可能会在模型中引入潜在的错误归纳偏置。此外，除非人们想要对大量众包数据集进行推断，否则训练这样的模型可能代价高昂到难以承受。

### 3.4 使用噪声标签训练神经网络

当任务级信息（例如图像）可用时，可以使用噪声标签训练DNN以进行任务特定的估计。然而，重要的是，这些模型在测试时无法利用噪声标签。TAIDTM [24 (https://arxiv.org/html/2608.11473#bib.bib7)] 使用GCN结合任务相关的DNN表示来细化工作者混淆矩阵的学习表示，从而对实例相关的混淆矩阵进行建模并估计真实标签。IDNT [9 (https://arxiv.org/html/2608.11473#bib.bib6)] 通过使用贝叶斯广义线性混合效应模型来学习实例相关的工作者混淆矩阵，其中工作者特定效应和任务真实标签特定效应使用DNN建模，并且使用锚点[29 (https://arxiv.org/html/2608.11473#bib.bib21),36 (https://arxiv.org/html/2608.11473#bib.bib22),58 (https://arxiv.org/html/2608.11473#bib.bib20)]训练模型。

## 4 对偶-原始图变分自编码器

为了克服使用简单变换对工作者和任务之间关系进行建模的需要，我们使用图注意力网络（GAT）[52 (https://arxiv.org/html/2608.11473#bib.bib4)]，这使我们能够学习工作者和任务的表示，它们由众包数据图上的节点表示。给定任意任务和工作者的表示，一个简单的表达式参数化了任务与工作者之间的交互，并预测该工作者对任务标注的分布，从而指定了解码器模型，该模型从表示任务（包括其真实标签）的潜在变量输入中重构众包数据。虽然解码器执行节点消息传递以指定边的分布，但编码器如[34 (https://arxiv.org/html/2608.11473#bib.bib14)]中那样，通过使用众包图对偶图上的节点消息传递，从边数据的学习表示中推断任务潜在变量的分布。因此，我们将我们的方法称为对偶-原始图变分自编码器（DPGVAE）。一旦训练完成，我们模型的真实标签估计可以直接从任务标签编码分布中读出。

任务-工作者边数据 → 对偶GAT（编码器） → 边嵌入 → 自注意力 → 任务编码分布 → 采样任务编码 → 原始GAT（解码器） → 任务-工作者边预测

图1：我们提出的方法的高层描述。以工作者-任务边标签形式存在的众包数据被输入到一个边编码（对偶）GAT中。按任务划分的边嵌入被池化以产生任务节点编码分布，从中采样任务编码并输入到原始GAT，该GAT执行节点级消息传递，并输出每个任务-工作者标注的预测分布。一旦我们的自编码器训练完成，任务编码分布即可作为真实标签估计。

1 2 3 1 2 3 4
H H J J
(1,1) (2,1) (2,2) (2,3) (1,4) (3,4)

图2：*左：*众包数据的原始表示。工作者节点和任务节点在上方标注，其中H和J分别表示工作者嵌入和任务嵌入的矩阵。如果工作者m标注了任务n，则在工作者节点m和任务节点n之间绘制一条无向边。红色箭头表示工作者节点1接收到的消息（来自其邻居及自身）。*右：*众包图的对偶图。边表示为节点，如果原始图中的相应边属于同一（原始）节点，则对偶图中的节点互为邻居。红色箭头表示边节点(1,1)接收到的消息。

### 4.1 生成模型

考虑一个具有M个工作者和N个任务的L元众包数据集。给定真实任务标签 \( t \in \{1,...,L\}^N \) 和任务特定的潜在变量 \( R \in \mathbb{R}^{N \times D_r} \)，生成模型输出边的分布：

\[
E|J \sim P(\cdot; \text{GNN}_{\theta}(J)).
\tag{1}
\]

工作者和任务嵌入初始化为
\[
h_m^{(0)} = W_{\text{worker}}^{(\text{embed})} \text{one-hot}(m,M)
\]
和
\[
j_n^{(0)} = [W_{\text{label}}^{(\text{embed})} \text{one-hot}(t) || R].
\]

更新由下式给出
\[
h_m^{(c+1)} = f\left(\lambda_{\text{self}} W_{\text{self}} h_m^{(c)} + \lambda_{\text{neigh}} \sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{\text{neigh}} j_n^{(c)}\right),
\]
其中 \( f \) 是一个非线性函数，如ELU[4 (https://arxiv.org/html/2608.11473#bib.bib60)]，注意力权重计算如下
\[
\alpha_{mn} = \frac{\exp(e_{mn})}{\sum_{n \in \mathcal{N}(m)} \exp(e_{mn})},
\]
\[
e_{mn} = a(h_m^{(c)}, j_n^{(c)}),
\]
其中 \( a \) 是一种注意力机制。我们遵循[52 (https://arxiv.org/html/2608.11473#bib.bib4)]并设置
\[
a(x,y;W,b) = \text{LeakyReLU}(b^T[Wx || Wy]).
\tag{2}
\]

消息传递在K个不同的注意力机制上使用多头注意力进行：
\[
h_m^{(c+1)} = \|_{k=1}^{K} f\left(\lambda_{\text{self}}^{(c,k)} W_{\text{self}}^{(c,k)} h_m^{(c)} + \lambda_{\text{neigh}}^{(c,k)} \sum_{n \in \mathcal{N}(m)} \alpha_{mn}^{(c,k)} W_{\text{neigh}}^{(c,k)} j_n^{(c)}\right).
\]
遵循[52 (https://arxiv.org/html/2608.11473#bib.bib4)]，为了学习鲁棒的表示，我们可以在嵌入以及邻接列表上应用Dropout[46 (https://arxiv.org/html/2608.11473#bib.bib24)]。