标签
本文分析了2017至2025年间五场顶级AI会议（ACL、CVPR、ICLR、ICML、NeurIPS）的80,814篇论文，表明主要AI主题并非逐步增长，而是通过突然的“主题相变”推进。文章提出了一种用于检测此类相变的早期预警信号，并指出推理、智能体AI和多模态大语言模型是2028年前值得关注的主题。
本文介绍了层次涌现框架（HEF），该框架解释了在物理和信息约束下，通过机制景观中的相变，神经网络和生物进化等多样系统如何收敛到相似的内部表示。该框架通过111个grokking实验进行了实证验证，这些实验确认了通用收敛，并识别出一个临界能量阈值。
本文研究了权重衰减如何作为控制参数，使在模算术上训练的Transformer在记忆与泛化之间发生转变，并引入了两种基于注意力激活的廉价在线诊断指标，用以追踪这些动态。
本文提出了一个统一的理论框架，用于描述深度学习中的相变（grokking、涌现能力）和非平衡化学中的相变，将两者描述为受两个梯度场控制的驱动信息系统。
本文提出了一个几何框架来分析稀疏自编码器中特征组合的不稳定性，揭示了非线性导致棘轮效应，从而在超过临界密度时引发组合坍塌。
对11个大型语言模型的全面谱分析，揭示了Transformers在推理与事实回忆过程中隐层激活空间中的相变现象，发现了七个基本现象，包括谱压缩、指令微调反转以及仅基于谱特性的完美正确性预测（AUC=1.0）。