Softmax丢弃了什么：用于证据积累的Mass-Aware注意力

# Softmax 丢弃了什么：用于证据累积的质量感知注意力
来源：https://arxiv.org/html/2607.22781
Minwoo Yu and Young‑guk HaM. Yu and Y.‑G. Ha are with the Smart Computing Laboratory, Department of Computer Science & Engineering, Konkuk University, Seoul 05029, Republic of Korea. E‑mail: {snowypainter, ygha}@konkuk.ac.kr. Y.‑G. Ha is the corresponding author.

###### 摘要

仅凭高任务性能并不能证明模型在其内部表示中保留了用于预测的结构信息。特别是时序图模型，在实现高未来链接AUC的同时，同一表示中可能无法一致地恢复基本的图统计量。我们识别出标准注意力执行的加权平均操作是造成这种差距的一个结构性来源。当某个证据模式重复出现时，标准注意力的分子和分母以相同速率增长；因此，具有不同累积证据量的输入可能产生相同的聚合结果。

我们通过**质量感知注意力（Mass-Aware Attention, MAA）** 来解决这一限制，它将标准的 \(L_1\) 归一化推广到 \(L_p\) 算子族。通过使分子和分母在重复情况下以不同速率缩放，MAA 能够将有效贡献输入的数量保留在表示的幅度中。它不需要额外的监督、参数、隐藏维度或显式的计数特征，并且将标准注意力作为 \(p=1\) 的特例恢复。

在四个 CTDG 模型和三个数据集上，MAA 在 12 个模型-数据集单元格中提升了 11 个的未来链接 AUC。从同一隐藏表示进行的线性恢复平均提高了 4.49%，而优先依附恢复在所有 12 个单元格中均有改善，并且在族系校正后仍然显著。我们在 CTDG 中确认了这一效应，并在另外四个设定中观察到一致的跨域证据：MTPP 中的候选标记计数、TKG 中的配对重复、RAG 中的保留段落条件以及 STPP 中的局部事件计数。信息可访问性与任务效用仍然是不同的：MTPP 中的 NLL 有所改善，TKG 中的排序基本保持不变，而 RAG 中的额外信息并未改善诊断头，并且 STPP 中的下游 LayerNorm 可能会消除该信号。这些结果确立了 MAA 作为一种通用归一化原则，通过控制标准注意力中硬编码的重复不变性，来提高面向预测器的表示的丰富性。

###### 索引术语：

质量感知注意力，注意力归一化，表示审计，时序图学习，证据累积。

## 1 引言

优秀的基准性能表明模型能准确区分未来链接，但它无法揭示面向预测器的表示中保留了查询前图结构的多少信息——例如配对频率或度数累积。这一区别对时序图尤为重要，因为重复交互、节点活跃度、近因性和周期性都可能支持未来链接预测。然而，由于容易的负采样和重复出现的边 [18 (https://arxiv.org/html/2607.22781#bib.bib6),8 (https://arxiv.org/html/2607.22781#bib.bib8)]，简单的启发式方法也可以取得强大的基准性能，而模型预测并不能一致地反映若干图特征 [11 (https://arxiv.org/html/2607.22781#bib.bib9)]。因此，一个有效学习时序图的模型应该使与其预测相关的图统计量在其提供给预测器的表示中可访问。在这项工作中，统计量恢复并非任务性能的替代；它是对这一条件的**表示审计**。

我们研究了一个小但普遍存在的盲点，它存在于跨领域的注意力模型中。标准 softmax 注意力返回其输入值的加权平均值。当相同证据模式重复时，其分子和 \(L_1\) 分母可能同步增长，使得聚合结果保持不变。该算子保留了哪部分证据相对重要，但削弱了该证据积累的广泛程度。这一效应可能表现为：CTDG 中图统计量恢复能力低下，MTPP 中累积候选标记出现次数的可访问性弱，TKG 中查询特定的配对重复信息不足，RAG 中跨段落的证据完整性不强，以及 STPP 中候选位置附近的事件计数信息缺失。

我们引入**质量感知注意力（MAA）** 来解决这个盲点。唯一的修改是将注意力分母中的 \(L_1\) 范数推广为 \(L_p\) 范数。标准注意力对应于 \(p=1\) 点；当 \(p>1\) 时，分子和分母在重复情况下以不同速率缩放。因此，MAA 在保留加权方向的同时，保留了一个取决于注意力分布有效支撑的输入相关尺度。它不使用显式计数、辅助目标、额外参数或隐藏坐标。相反，它将被标准注意力硬编码的精确重复不变性暴露为一个连续控制轴。

我们的评估遵循证据层次结构。首要问题是：目标信息是否更容易从相同的面向预测器的隐藏表示 \(Z\) 中恢复。接着，我们衡量这一改变是否保持或改善了原始任务。最后，通过 \(2\times 2\) 表示审计、显式基数控制、输出归一化和幂敏感性，我们将 MAA 与坐标暴露和表示范数的均匀变化区分开来。图 1 (https://arxiv.org/html/2607.22781#S1.F1) 总结了 CTDG 的核心结果，表 I (https://arxiv.org/html/2607.22781#S1.T1) 显示了每个领域中这个共同问题是如何具体实例化的。

参见图注图 1：CTDG 主要结果。线性恢复和上下文敏感性平均提升。确认性证据在优先依附恢复上最强（12/12 单元格改善），未来链接 AUC 在 11/12 单元格改善。效应大小在不同探针和统计量间有所变化。表 I：每个领域中的证据累积问题和评估目标。所有恢复结果均从等维度的面向预测器表示 \(Z\) 中测量，不使用辅助坐标。| 领域 | 输入区分 | 从 Z 恢复的信息 | 任务效用指标 |
|---|---|---|---|
| CTDG | 重复交互和时域邻域差异 | 配对频率、近因性、持久性、周期性、粒度、密度、同质性和优先依附 | 未来链接 ROC–AUC 和上下文敏感性 |
| MTPP | 支撑候选标记的前序事件累积 | 候选标记的全局和近期出现次数 | 点过程/标记 NLL、标记准确率和时间误差 |
| TKG | 连接当前头和候选尾的历史事实重复 | 配对重复、关系多样性、两跳路径计数 | 过滤 MRR、Hits@10 和硬负 AUC |
| RAG | 完整支持段落与缺失部分证据的输入 | 移除字面重复线索后的保留段落条件 | 完整证据与部分证据的诊断 AUC |
| STPP | 候选位置周围累积的前序事件 | 多个半径下的局部事件计数 | NELBO 和空间/时间对数似然 |

我们的贡献如下。

- • 我们将标准注意力的重复不变性重新解释为 \(L_p\) 归一化族中的 \(p=1\) 特例，并引入 MAA，一种控制该特性的无参数机制。
- • 我们在四种 CTDG 架构、三个数据集和三个种子上联合评估了同一表示的可恢复性、行为敏感性和任务性能。优先依附恢复在所有 12 个模型-数据集单元格中改善，AUC 在 11 个中改善。
- • 我们将评估扩展到 MTPP、TKG、RAG 和 STPP，表明一个归一化原则改善了不同形式累积证据的可访问性。
- • 我们通过信息可访问但未被使用（RAG）以及下游归一化移除信息（STPP）的案例，刻画了 MAA 的操作边界。

## 2 相关工作

本节回顾时序表示审计和注意力归一化，并区分 MAA 与显式基数注入。

标准缩放点积注意力使用归一化系数形成值的加权平均 [20 (https://arxiv.org/html/2607.22781#bib.bib1)]。我们研究这个基本算子分母施加的重复不变性。

### 2.1 时序图学习与表示审计

TGAT 使用时序编码和时序注意力构建归纳式节点表示 [22 (https://arxiv.org/html/2607.22781#bib.bib2)]。GraphMixer 将链接编码器和节点编码器与 MLP 混合器结合 [6 (https://arxiv.org/html/2607.22781#bib.bib3)]，而 DyGFormer 将交互序列编码为补丁 [26 (https://arxiv.org/html/2607.22781#bib.bib4)]。CRAFT 使用节点身份和面向目标的交叉注意力实现强大的未来链接性能 [25 (https://arxiv.org/html/2607.22781#bib.bib5)]。MAA 并不取代这些主干；它仅修改形成面向预测器表示的注意力边界处的归一化。

在动态链接预测中，重复边和记忆化在某些评估协议下可能主导结果 [18 (https://arxiv.org/html/2607.22781#bib.bib6)]。Hayes 等人通过干预表明，模型预测对时序图特征的反映是不均匀的 [11 (https://arxiv.org/html/2607.22781#bib.bib9)]。他们的分析是行为层面的，而我们则是检查冻结的内部表示。我们测量查询级图统计量的可恢复性，并测试一个无需统计量监督即可改善其可访问性的算子。

### 2.2 表示探测

线性探针是衡量目标是否可通过简单读出从冻结表示中访问的标准工具 [1 (https://arxiv.org/html/2607.22781#bib.bib27),7 (https://arxiv.org/html/2607.22781#bib.bib28),12 (https://arxiv.org/html/2607.22781#bib.bib29)]。由于探针自身可能学习目标或利用表面相关性，其容量和保留协议需要单独解释 [16 (https://arxiv.org/html/2607.22781#bib.bib30)]。我们在时序保留划分上报告 Ridge 和 ExtraTrees 探针，从不将探针梯度传播回原始模型，并同时评估恢复性、行为敏感性和任务性能。此设计区分了可读信息与预测器实际使用的信息。

### 2.3 基数保持与概率归一化

基数保持注意力（CPA）指出图注意力无法区分具有不同多重性的多重集，并通过无加权和或显式邻域基数来增强聚合结果 [27 (https://arxiv.org/html/2607.22781#bib.bib11)]。其动机与我们密切相关，但其信息源和算子与 MAA 不同。CPA 通过单独的分支注入观察到的词元计数或无加权聚合。而 MAA 则从模型已经计算的注意力分布的有效支撑和集中度中导出其尺度。因此，它能够为具有相同基数但不同注意力分布的输入分配不同的尺度，同时 \(p\) 连续地控制不变性的强度。

无概率笼归一化注意力用基于 logit 均值和方差以及可学习增益和偏置的归一化替代 softmax，其动机是概率单纯形和凸包约束 [19 (https://arxiv.org/html/2607.22781#bib.bib12)]。仿射缩放注意力在 softmax 之后学习一个输入相关的仿射变换 [3 (https://arxiv.org/html/2607.22781#bib.bib13)]。相比之下，MAA 保留标准的加权方向并且不学习额外的门控：其尺度由归一化注意力 \(\alpha\) 确定性地计算得出。因此，MAA 的独特贡献是将标准注意力中硬编码的 \(L_1\) 重复不变性暴露为 \(L_p\) 族中的一个显式控制轴。

### 2.4 跨领域证据累积

在时序点过程中，事件历史决定标记特定的条件强度以及下一个事件的分布，循环和注意力模型以不同方式表示这些信息 [9 (https://arxiv.org/html/2607.22781#bib.bib14),17 (https://arxiv.org/html/2607.22781#bib.bib15),30 (https://arxiv.org/html/2607.22781#bib.bib16),23 (https://arxiv.org/html/2607.22781#bib.bib17)]。在时序知识图谱预测中，重复事件和关系路径支持候选实体排序 [14 (https://arxiv.org/html/2607.22781#bib.bib18),10 (https://arxiv.org/html/2607.22781#bib.bib19),29 (https://arxiv.org/html/2607.22781#bib.bib20)]。多跳 QA 需要整合分布在多个段落中的支持事实 [24 (https://arxiv.org/html/2607.22781#bib.bib21),13 (https://arxiv.org/html/2607.22781#bib.bib22)]，而时空点过程将空间强度条件依赖于局部事件密度和重访模式 [5 (https://arxiv.org/html/2607.22781#bib.bib23),28 (https://arxiv.org/html/2607.22781#bib.bib24)]。尽管这些任务和数据结构各不相同，但它们共享一个注意力边界，该边界通过加权平均将累积证据传递给预测器。因此，我们使用直接代表累积的领域特定目标，而不是跨领域施加一个统一的统计量。

层归一化会标准化隐藏状态的尺度 [2 (https://arxiv.org/html/2607.22781#bib.bib25)]，其位于注意力之前或之后会改变 Transformer 中的优化和信息流 [21 (https://arxiv.org/html/2607.22781#bib.bib26)]。我们的 STPP 分析识别了一个具体边界，在该边界处，这个通用的架构选择决定了 MAA 引入的输入相关振幅是否能够到达面向预测器的表示。

## 3 质量感知注意力

本节形式化标准加权平均的重复不变性，并提出连续松弛该不变性的 \(L_p\) 归一化。

### 3.1 标准注意力的重复不变性

设参与一个查询聚合的输入为 \(X = \{(m_i, v_i)\}_{i=1}^n\)，其中 \(v_i\) 是值，\(m_i = \exp(a_i - \max_j a_j)\) 是数值稳定的正注意力权重。在此记号下，标准 softmax 聚合定义为

\[
A_1(X) = \frac{\sum_i m_i v_i}{\lVert m \rVert_1}.
\tag{1}
\]

公式 (1) 将值的加权和除以总的 \(L_1\) 质量，迫使系数精确求和为 1。为考察此算子如何处理多重性，设 \(X^{(r)}\) 包含同一加权值模式的 \(r\) 个副本。复制将分子和分母同时乘以 \(r\)，得到

\[
A_1(X^{(r)}) = A_1(X).
\tag{2}
\]

公式 (2) 是一个思想实验，而非复制真实观察的训练过程。它表明标准的加权平均保留了相对证据模式，但可能将同一模式的不同重复次数映射到相同的聚合结果。

图 2 (https://arxiv.org/html/2607.22781#S3.F2) 可视化了这一不变性以及 MAA 引入的变化。标准注意力将复制的输入压缩到相同的聚合，而 MAA 在保留加权方向的同时，保留了一个由重复引起的振幅差异。

参见图注图 2：质量感知注意力背后的直觉。标准注意力将