自我改进往往是突发的：大规模模型的Enlightenment式微调

# 自我改进往往具有突发性：大规模模型的顿悟式微调 来源：https://arxiv.org/html/2607.13395

††11institutetext:1香港城市大学数据科学系前沿人工网络实验室，香港特别行政区，中国 22institutetext:2深圳市人工智能与机器人研究院（AIRS），深圳，中国；香港中文大学（深圳），深圳，中国 33institutetext:3广东第二师范学院计算机科学与人工智能学院，广州 510303，中国 44institutetext:4哈尔滨工业大学仪器科学与工程学院，哈尔滨，中国 ⋆\\star通讯作者. Tianwei Zhang2Yu-Hao Jiang1Feifei Zhang3Hang-Cheng Dong4Feng-Lei Fan1,⋆\\star (收稿日期： / 录用日期：)

###### 摘要

追求自主自我改进的模型在大规模基础模型时代日益受到关注。受人类大脑中“顿悟”或“啊哈时刻”概念的启发，我们假设大型模型存在类似的顿悟现象——一种能够实现能力突然提升的潜在能力。为此，我们提出了一种名为 **Enlightenment** 的新颖且无需训练的后调优范式，适用于大规模模型。我们的方法在不更新权重的情况下，为关键模块/层修改捷径，而现有的免训练方法主要操纵注意力权重。我们引入了两种特定于架构的实例化：i) 对于大型语言模型，我们提出了注意力头混合捷径，通过将初始注意力头的输出链接到所有其他目标头，并辅以自适应缩放因子初始化策略，来重新校准注意力权重。ii) 对于视觉语言模型，我们在解码器层的残差连接上应用一个轻量级的标量调制因子，以调控信息流。大量实验表明，**Enlightenment** 能够高效地释放预训练网络的潜在潜力，在多种基准和模型上带来显著的性能提升。我们已在 Enlightenment (https://github.com/asdvfghg/Enlightenment_project) 开源了代码，供读者免费查阅。

## 1 引言

近年来，使大规模模型能够自我改进在人工智能领域引起了广泛关注 [Wu et al. (2025)](https://arxiv.org/html/2607.13395#bib.bib53); [Qu et al. (2024)](https://arxiv.org/html/2607.13395#bib.bib54); [Huang et al. (2023)](https://arxiv.org/html/2607.13395#bib.bib55)。这一探索实际上贯穿了人工智能的历史——从早期的符号自我修改，到推动国际象棋等游戏取得突破的自对弈动态，等等 [Billard and Diday (2002)](https://arxiv.org/html/2607.13395#bib.bib97); [Udrescu and Tegmark (2020)](https://arxiv.org/html/2607.13395#bib.bib96)。随着大规模预训练模型的快速发展，实现其有效的自我改进已成为通往通用人工智能 (AGI) 道路上的关键挑战，旨在赋予这些模型前所未有的适应性和泛化能力。然而，就目前而言，自我改进仍是一个定义和边界尚不十分清晰的研究领域。

（请参见图注）
图 1：Enlightenment 的整体概念。正如人类大脑中新的神经元连接形成会产生顿悟一样，我们修改预训练模型中的捷径，使其在推理过程中无需额外的后训练即可实现自我改进。

据我们所知，当代研究中的自我改进主要涉及四个流派：i) 持续学习为模型提供了适应新任务且不遗忘旧知识的能力，采用弹性权重巩固、动态架构扩展或情景记忆回放等方法，使得每次学习都建立在先前知识之上而非将其抹去 [Ning et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib56)；ii) 自蒸馏将模型自身作为其教师：模型在其自身早期检查点产生的软化分布上迭代重新训练，逐步优化预测结果，而无需外部真实标签 [Gou et al. (2023)](https://arxiv.org/html/2607.13395#bib.bib57); [Jiang et al. (2026b)](https://arxiv.org/html/2607.13395#bib.bib58)；iii) 测试时自适应，相反地，在逐个样本或逐分布的基础上，使用无监督目标（如熵最小化、伪标签或自监督旋转预测）更新模型统计数据或一小部分参数，使模型在部署后能快速适应用户的个性化模式 [Liang et al. (2025)](https://arxiv.org/html/2607.13395#bib.bib59)；iv) 免训练微调探索了基于 token 级别的注意力调制，以提高基础模型性能，且无需任何参数修改 [Han et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib27); [Xiao et al. (2024)](https://arxiv.org/html/2607.13395#bib.bib28)。可以看出，多种不同的方法与模型自我改进相关。然而，目前还没有任何一种方法能够成为主导路线。我们在此的目的不是调和或统一这些现有路线。鉴于自我改进的多面性，我们退一步，以一种原则性的方式设计一种新的机制，从而提供一个与现有路线本质不同的视角。我们将注意力转向大脑智能的根源，并从我们的大脑中寻求灵感。这与“神经人工智能 (NeuroAI)”的思想一致 [Zador et al. (2022)](https://arxiv.org/html/2607.13395#bib.bib52); [Sadeh and Clopath (2025)](https://arxiv.org/html/2607.13395#bib.bib50); [Fan et al. (2025)](https://arxiv.org/html/2607.13395#bib.bib51)，该思想认为神经科学的见解可以极大地加速下一代人工智能的发展。这一主张是有充分依据的：大脑仍然是已知的最智能系统，而人工神经网络可以看作是其简化抽象。因此，神经科学的机制或多或少能够为解决人工智能领域的挑战提供启示。

受神经人工智能范式的启发，我们注意到人类的自我改进往往是突然发生的，表现为所谓的“啊哈时刻”或顿悟。在人类大脑中，顿悟不仅仅是主观上的豁然开朗。神经影像和电生理研究表明，这种洞察通常伴随着颞上回前部和前扣带皮层的突然激活，以及短暂的伽马波段活动爆发 [Arikha (2006)](https://arxiv.org/html/2607.13395#bib.bib60)。此外，顿悟常出现在主动学习或训练停止后的休息时间。这种由休息时间驱动的可塑性变化有时能建立起全新的微回路，从而实现性能的质的飞跃，而非渐进式调整 [Monsivais et al. (2017)](https://arxiv.org/html/2607.13395#bib.bib92)。鉴于顿悟的这些引人注目的特征，**我们能否将相关机制引入大型模型，并检验其在自我改进中的计算效益？**

转化为人工系统，顿悟表明，引入一种介于训练和测试之间的、称为“回顾 (retrospection)”的新模型操控阶段至关重要，该阶段在休息时间调整模型，并且不必依赖数据。更重要的是，在回顾期间，模型可能通过连接新的回路来自我改进 [Chen and Krajbich (2017)](https://arxiv.org/html/2607.13395#bib.bib93)。此外，我们认为人工网络中的顿悟应满足以下条件：i) 不计算梯度，因为我们强调突然变化；ii) 不涉及数据，因为我们强调在测试前、训练后的休息时间进行调整；iii) 不需要更新权重，因为我们强调修改回路。

基于这些条件，我们提出了 **Enlightenment**，一种新颖且高效的、面向大型模型的免训练回顾方法。如图 1 所示，我们专注于修改网络结构，特别是捷径 (shortcuts)，甚至将先前不存在的连接注入到大规模模型中。表 1 显示，所提出的 **Enlightenment** 相对于其他技术占据了独特的位置。特别是，现有的免训练微调方法侧重于可塑性调整，而我们的方法强调内部结构。

表 1：不同自我改进范式的比较。

具体来说，在修改捷径的原则指导下，我们分别为视觉语言模型 (VLM) 和大型语言模型 (LLM) 实现了 **Enlightenment**。对于 VLM，我们在 Transformer 解码器层内的每个残差连接上（涵盖注意力和前馈网络 (FFN) 子块）应用一个单一的共享标量调制器。对于 LLM，我们采取了更大胆的步骤：插入新的捷径，以在每头注意力输出之间聚合信息，从一个头到其他剩余的头。这种层内捷径的有效性得到了先前工作的支持 [Fan et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib94); [Zhang et al. (2024c)](https://arxiv.org/html/2607.13395#bib.bib95)。此外，为了补充这些架构增强，捷径被赋予了动态缩放超参数，实现了每头级别的重新校准。**Enlightenment** 在不改变预训练权重的前提下，扩展了大型模型的表示能力。同时，我们的方法仅引入了少量超参数，并且自我改进的效果对其中大多数超参数不敏感。

简而言之，我们将贡献总结为三点：

- **1)** 受神经科学中顿悟概念的启发，我们引入了 **Enlightenment**，一种在训练和推理之间的全新“回顾”阶段运作的免训练调优范式。该范式侧重于捷径而非权重。
- **2)** 为实现该范式，我们提出了一种轻量级的架构干预策略，通过缩放超参数调制捷径连接，甚至插入跨头捷径，从而在无需后训练的情况下扩展表示能力。
- **3)** 在多种多模态和推理基准上的大量实验表明，**Enlightenment** 在三种广泛使用的 VLM 和三种主流 LLM 变体上持续带来显著的性能提升，且无需额外数据、无需梯度计算、无需权重更新。

## 2 相关工作

### 2.1 持续学习

持续学习 (CL)，也称为终身学习，旨在解决使大型语言模型 (LLM) 能够在学习新知识的同时不遗忘先前所学任务的问题 [Zhou et al. (2024)](https://arxiv.org/html/2607.13395#bib.bib83); [Chen et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib82)。持续学习可以被视为自我改进的一种形式。最近，持续指令调优 (CIT) [Chen et al. (2024a)](https://arxiv.org/html/2607.13395#bib.bib84); [He et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib85) 得到了深入研究，它旨在提升大型模型的指令遵循能力。i) 任务增量 CIT 在连续的任务特定指令上微调 LLM，例如 Progressive Prompts [Razdaibiedina et al.](https://arxiv.org/html/2607.13395#bib.bib86) 冻结大部分参数并为每个任务学习提示令牌以减少计算和遗忘，而 Scalable Language Model [Peng et al. (2024)](https://arxiv.org/html/2607.13395#bib.bib87) 则引入向量空间检索以实现知识扩展。ii) 领域增量 CIT 使 LLM 适应不断发展的领域。任务自适应预训练 (TAPT) [Gururangan et al. (2020)](https://arxiv.org/html/2607.13395#bib.bib88) 采用一种数据选择策略，检索领域内的无标签文本进行微调；ConPET [Song et al. (2023)](https://arxiv.org/html/2607.13395#bib.bib89) 则将参数高效调优与动态回放相结合以防止遗忘。iii) 工具增量 CIT 是一个特别有前景的方向，它将 LLM 的能力从文本生成扩展到实际工具使用。ToolLLM [Qin et al. (2024)](https://arxiv.org/html/2607.13395#bib.bib90) 展示了 LLM 可以通过 CIT 掌握超过 16,000 个真实世界的 API，从而能够为不同任务选择合适的工具并进行调用。ToolkenGPT [Hao et al. (2023)](https://arxiv.org/html/2607.13395#bib.bib91) 则采用了一种互补的方法，通过工具嵌入来增强冻结的语言模型，仅更新工具特定参数以消除灾难性遗忘，同时持续扩展工具能力。

### 2.2 自蒸馏

自蒸馏 (SD) 将知识从一个模型或其历史状态中转移出来，使得无需外部教师网络即可实现自我进化 [Xu et al. (2026a)](https://arxiv.org/html/2607.13395#bib.bib76)。在指令遵循领域，Self-Instruct [Wang et al. (2023)](https://arxiv.org/html/2607.13395#bib.bib78) 建立了一个闭环流水线，用于自主生成、过滤和提炼高质量的微调数据。在偏好对齐方面，自对弈微调 (SPIN) [Chen et al. (2024b)](https://arxiv.org/html/2607.13395#bib.bib79) 将该过程建模为在直接偏好优化 (DPO) 目标下的伪响应与黄金标准 SFT 轨迹之间的对抗自对弈游戏，打破了对第三方评估者的依赖。自蒸馏微调 (SDFT) [Shenfeld et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib80) 进一步通过使用未退化的历史模型状态作为蒸馏锚点，解决了多阶段微调导致的流形收缩问题，在不牺牲特定任务性能的情况下恢复广泛的语义能力。

在推理领域，自蒸馏已在长链逻辑推理和代码生成方面取得了突破。在策略自校正 (OPSD) [Zhao et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib77) 训练单个 LLM 扮演双重角色——盲学生和特权教师——在策略解轨迹上应用 KL 散度或 Jensen-Shannon 散度作为概率惩罚。简单自蒸馏 (SSD) [Zhang et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib81) 采取了一条更简单的路径，使用模型自身未经验证的温度采样输出作为交叉熵目标，以重塑 token 级别的解码状态，抑制思维链生成中的长尾轨迹漂移，并巩固多样性与泛化能力。

### 2.3 测试时自适应

测试时自适应 (TTA) 在推理过程中更新模型参数，以缓解分布偏移，而无需昂贵的离线重新训练 [Liang et al. (2025)](https://arxiv.org/html/2607.13395#bib.bib59)，这从根本上模糊了训练与部署之间的界限 [Park et al. (2025)](https://arxiv.org/html/2607.13395#bib.bib69)。早期的 TTA 方法通过自监督目标解决缺少真实标签的问题，例如 token 级熵最小化 [Noori et al. (2026)](https://arxiv.org/html/2607.13395#bib.bib70) 和下一个 token 似然优化 [Thrampoulidi (2024)](https://arxiv.org/html/2607.13395#bib.bib71)，并结合选择性参数高效策略，包括隔离层更新、稀疏权重调整和低秩参数高效微调 (PEFT)，以将梯度更新扩展到数十亿参数的模型，同时保持基础语言能力 [Xu et al. (2026b)](https://arxiv.org/html/2607.13395#bib.bib72)。