HALO：语言模型的混合自适应潜在推理

# HALO：语言模型的混合自适应潜在推理
来源：https://arxiv.org/html/2607.08775
###### 摘要

我们研究如何通过少量自适应额外计算来改进一个冻结的预训练语言模型。一个简单的方法是在骨干网络隐藏状态之上添加额外的精炼步骤，但固定数量的额外精炼可能是浪费的：一步精炼头可能太弱，而强制在每个位置都进行第二步全序列精炼则会增加计算量而不会改善迁移效果。我们引入了HALO，一种混合自适应潜在精炼方法，它结合了粗粒度精炼阶段与基于令牌评分和单调令牌暂停的选择性第二级令牌潜在精炼。在基于MMLU-Pro和GPQA-Diamond构建的主要公共基准比较中，HALO在论文所面对的方法中取得了最佳整体平均性能，优于冻结骨干网络、固定-1和固定-2方法。内部分析进一步表明，HALO达到了与固定-2几乎相同的令牌准确率水平，同时使用的平均应用精炼步骤数少于固定-1，远少于固定-2。这些结果表明，关键优势不仅仅是更多的精炼，而是更好的精炼分配：HALO在取得最强的论文面对结果的同时，使用的控制器计算量也少于任何一个固定基线。

## 1 引言

冻结的预训练语言模型是强大的通用系统，但某些推理问题受益于额外的推理时计算。添加这种计算的一种自然方式是在主前向传播之后精炼骨干网络的隐藏状态。这可以在不进行全模型微调的情况下改善推理行为，但必须谨慎地分配额外计算。

我们引入**HALO**（混合自适应潜在推理），一种用于冻结语言模型的轻量级自适应潜在精炼方法。HALO使用一个粗粒度精炼阶段，结合令牌评分和单调令牌暂停，为第二级潜在精炼块选择一部分令牌。跳过的令牌绕过这条昂贵的路径，之后重新合并。由此产生的设计将更昂贵的第二级计算集中在序列的仅一部分上，而不是在每个位置均匀地花费精炼预算。重要的是，粗粒度精炼阶段是一个架构路径，而论文的计算度量计算的是控制器在运行时实际执行的精炼更新次数。在优胜配置中，这两者并非同一回事：初始的自适应保留决策是基于从当前logits（以及可用时，从前一步logits的变化）计算出的廉价门控特征逐令牌做出的，因此控制器可以在到达后续的有预算的令牌暂停阶段之前跳过精炼。

我们研究一个聚焦的问题：当用额外的潜在计算扩展一个冻结的语言模型时，选择性的第二步精炼是否比在一步精炼后停止或在所有位置强制进行第二步精炼更好地利用了计算？我们将HALO与三个论文面对基线进行比较：冻结骨干网络、一步全序列精炼基线（固定-1）和两步全序列精炼基线（固定-2）。

我们的结果支持一个明确的答案。在由MMLU-Pro和GPQA-Diamond构建的公共比较中，HALO在论文面对的方法中取得了最佳整体平均性能。在内部，它达到了与固定-2几乎相同的令牌准确率水平，同时使用的平均应用精炼步骤数少于固定-1，远少于固定-2。换句话说，HALO在取得最强的论文面对性能的同时，使用的控制器计算量也少于任何一个固定基线。这种增益并非在所有基准上均匀分布——HALO的最大优势来自GPQA-Diamond，而MMLU-Pro上最强的仍然是冻结骨干网络——因此论文提出了一个聚焦的质量-计算权衡声明，而非普遍优越性声明。HALO并未赢得每个指标或基准列：固定-2在内部令牌准确率指标上略有优势，而冻结骨干网络在MMLU-Pro上仍然最强。

我们的贡献是：

- •我们引入了HALO，一个用于扩展冻结语言模型的混合自适应潜在精炼框架，具有选择性第二级计算。
- •我们展示了HALO在MMLU-Pro和GPQA-Diamond上，在论文面对的方法中取得了最佳的整体公共平均性能。
- •我们展示了HALO取得了最强的论文面对公共结果，同时使用的平均应用精炼步骤数少于固定-1，远少于固定-2。

## 2 方法

### 2.1 问题设定

我们用一个轻量级可训练的精炼模块来扩展一个冻结的预训练语言模型。给定一个输入序列，冻结的骨干网络产生上下文化令牌表示和下一个令牌的logits。目标是用少量的额外计算提高预测质量，而无需为每个令牌均匀应用相同昂贵的精炼。因此，我们的设计目标是更好的*质量-计算权衡*，而不仅仅是更大的精炼头。

### 2.2 HALO

图1 (https://arxiv.org/html/2607.08775#S2.F1) 展示了整体架构。从冻结骨干网络的隐藏状态开始，HALO进入一个粗粒度精炼阶段。在评估过的优胜配置中，这是一个架构精炼路径，而不是在每个令牌上普遍应用的第一次更新。在每个精炼步骤，模型根据当前logits（以及可用时，从前一步logits的变化）计算令牌级门控特征；一个小型门控头将这些特征转换为一个保留概率，只有当该保留概率超过阈值并且其预测尚未稳定时，令牌才会被精炼。由于强制的最小精炼次数为零，控制器可以在某些令牌位置上跳过第一次自适应精炼更新。

参考图注图1：HALO架构。左图：整体模型流程。冻结的预训练语言模型产生基础隐藏状态，在最终预测前传递给HALO。HALO使用粗粒度精炼阶段以及令牌评分和单调令牌暂停来决定哪些位置需要额外计算。在评估过的优胜配置中，第一次自适应保留决策是根据当前logits和从前一步logits的变化导出的门控特征逐令牌做出的，因此粗粒度精炼阶段表示一个架构路径，而不是在每个令牌上普遍强制进行的第一次更新。被选中的令牌经历潜在草稿本精炼，而跳过的令牌绕过昂贵路径，在产生最终logits之前重新合并。右图：选中的令牌潜在精炼块。被选中的令牌状态与一个潜在草稿本状态结合，并通过一个潜在精炼步骤进行更新，以产生精炼后的选中表示。此设计将额外计算集中在一部分令牌上，而不是强制在所有位置进行额外的全序列精炼。然后HALO进行令牌评分和单调令牌暂停。在优胜配置中，这个选中的令牌路由与之前的第一步保留决策是分开的。在粗粒度阶段之后，HALO为候选令牌分配一个分数，用于选中的令牌路径，并应用一个有预算的单调暂停规则：只有符合条件的令牌中得分最高的预算比例（满足最小令牌数）被路由到昂贵的第二阶段。暂停规则是单调的：一旦一个令牌在前向传播中被从进一步的精炼中丢弃，就不会再重新激活。因此，未被选中的令牌完全绕过昂贵的第二阶段。

优胜配置使用一个带学习增益的令牌分数，预算比例为0.35，最小选中令牌数为8。操作上，控制器形成符合条件的令牌集合，对这些令牌进行评分，并将只有得分最高的预算比例路由到第二阶段，同时仍强制满足最小令牌数。直观上，这个分数旨在优先考虑那些额外潜在更新预计最有用的令牌，而不是将相同的第二阶段预算花费在每个位置。这通过将第二阶段预算集中在一部分令牌位置上，实现了HALO背后的选择性计算直觉。

第二个重要的设计选择是训练-测试一致性。这里意味着，在自适应评估中使用的相同选中令牌路由规则，在固定评估调用第二阶段精炼路径时也适用，而不是将所有符合条件的令牌通过不同的第二阶段机制发送。在优胜配置中，相同的带预算的、带学习增益的令牌暂停规则在固定评估中也同样适用。在实践中，这种一致性很重要，因为它使选择性第二步计算表现得像一种真正的机制，而不是一个仅用于训练的正则化器。

### 2.3 选中的令牌潜在精炼

对于由暂停机制选中的那一部分令牌，HALO维护两种表示：一个选中令牌状态和一个潜在草稿本状态。选中令牌块联合更新这两者，然后将精炼后的选中令牌状态写回序列中。潜在草稿本作为路由令牌的一个小型辅助工作记忆，使得更新比简单的单步残差变换更丰富，同时保持精炼模块相对于冻结骨干网络的轻量级。在此使用的实现中，这个选中令牌精炼器是一个紧凑的潜在精炼块，具有单个潜在递归，而不是内部长循环展开。

### 2.4 推理模式

我们针对三个仅在使用的额外精炼量上有所不同的论文面对基线来评估HALO。

#### 冻结骨干网络。

冻结骨干网络不执行任何额外精炼。

#### 固定-1。

单步单状态基线对所有令牌应用一步全序列精炼。

#### 固定-2。

两步单状态基线在所有位置应用第二步全序列精炼。

#### HALO（自适应）。

HALO使用粗粒度精炼阶段以及令牌评分和单调令牌暂停，但仅将潜在第二级精炼分配给选中的令牌，而跳过的令牌绕过该路径，之后重新合并。在优胜自适应配置中，第一步保留决策是逐令牌做出的，使用从廉价logit特征计算的概率以及稳定性检查，因此控制器可以在后续的选中令牌预算应用之前，在某些令牌上跳过第一次自适应精炼更新。后续的有预算的令牌暂停机制是第二个、独立的路由规则，它限制哪些符合条件的令牌进入选中令牌潜在路径。结果是，运行时计算量可能低于每个令牌平均一个应用精炼更新。

这个比较是有意狭窄的。固定-1询问是否一步统一精炼就足够了。固定-2询问是否仅仅添加更多全序列精炼就能改善结果。HALO询问是否选择性潜在精炼能够将有限的额外计算预算转化为比任一固定替代方案更好的质量-计算权衡。

## 3 实验设置

### 3.1 模型族和检查点

所有实验使用一个冻结的预训练语言模型作为骨干网络，并用轻量级可训练的精炼头扩展，而不是进行全模型微调。在训练和评估工具中，默认的冻结骨干网络是 microsoft/Phi-4-mini-instruct (Abdinet al., 2025 (https://arxiv.org/html/2607.08775#bib.bib20))。优胜的HALO配置使用选中令牌潜在精炼变体，结合有预算的令牌暂停，令牌选择预算为0.35，并在固定评估中保持训练-测试一致性。

我们只训练精炼/控制器参数，同时保持骨干网络冻结。训练使用监督的下一个令牌目标，在指令微调数据上，结合塑造自适应计算行为的辅助损失，包括精炼步骤间的随时监督、针对目标精炼预算的控制器正则化，以及跨预算设置的一致性训练。优胜配置是在这种冻结骨干网络精炼设置下训练的，使用了HuggingFaceH4 UltraChat-200k指令微调数据的一个4k示例子集（这是一个UltraChat的过滤衍生版，Ding等人，2023 (https://arxiv.org/html/2607.08775#bib.bib35)），序列长度为1024，批量大小为1，梯度累积为8，训练一个周期，学习率为10^{-4}。

对于公共结果，可训练方法在六个独立训练的检查点上进行评估。基准启动矩阵运行冻结骨干网络一次，然后使用lm-eval (Biderman等人，2024 (https://arxiv.org/html/2607.08775#bib.bib19)) 在固定和自适应模式下对基准套件评估可训练检查点。对于内部分析，我们使用一个独立的、自包含的内部评估矩阵评估同一系列检查点，该矩阵报告来自模型原生评估工具的质量和计算摘要。

### 3.2 公共评估和内部评估

我们的公共评估集中在MMLU-Pro和GPQA-Diamond上。这两个任务用于论文面对比较的公共基准矩阵，我们将它们视为主要的迁移测试，因为它们探测了互补形式的具有挑战性的推理，同时保持足够标准以便于方法间的直接比较。我们并不声称两个基准就能详尽地刻画该机制；相反，它们为本文研究的狭窄比较提供了一个聚焦但具有挑战性的公共测试。对于可训练方法，我们报告六个种子的均值和标准差；对于冻结骨干网络，我们报告一个确定的分数，因为骨干网络本身没有被重新训练。遵循主要论文的比较，我们使用MMLU-Pro、GPQA-Diamond及其简单平均值来总结公共性能。我们仅将平均值作为联合公共图景的紧凑摘要统计量，同时保持基准特定的列明确，因为这些方法在两个任务上的行为并不相同。

除了公共基准，我们还运行了一个内部评估，旨在比单独的lm-eval更直接地暴露质量-计算权衡。内部工具报告令牌准确率、相对于冻结骨干网络的令牌准确率提升、平均应用精炼步骤数，以及相关的自适应和固定评估摘要。它通过模型的原生固定和自适应评估模式评估每个检查点，并记录控制器侧的量，例如每个令牌的使用步数、门控统计和预测差值轨迹，从中推导出报告的内部质量和计算摘要。内部评估矩阵使用最多512个评估样本、序列长度1024和批量大小1来运行训练好的检查点。我们关注三个内部量：令牌准确率、相对于冻结骨干网络的令牌准确率提升，以及作为计算代理的平均应用精炼步骤。该指标计算控制器在评估期间在令牌位置实际执行的精炼更新次数，而不是固定的架构阶段计数。操作上，模型维护一个每个令牌的执行精炼更新计数器：在所有步骤被跳过的令牌贡献0，被精炼一次的令牌贡献1，被精炼两次的令牌贡献2，报告的量是该计数在预测令牌位置上的平均值。由于优胜的HALO配置允许跳过第一次自适应精炼更新，因此平均应用精炼步骤数可能低于每令牌一次。