前沿叠加的出现：Möbius吸引子与级联监督

arXiv cs.LG 论文
superposition transformer-interpretability gradient-dynamics attractor cascade-supervision graph-reachability

摘要

本文确定了Möbius吸引子和级联监督是Transformer中叠加推理出现的关键机制，填补了图可达性任务中梯度下降收敛的理论空白。

arXiv:2605.18820v1 公告类型：新 摘要：叠加允许Transformer进行深度推理，通过有限深度的前向传播并行携带整个推理前沿，而不是展开串行的思维链令牌。虽然Zhu等人（2025）在单个残差流中为图可达性手工构建了一个等权重广度优先前沿，但梯度下降能否在排列对称鞍点中找到这个目标仍然是一个开放问题。 我们通过在Erd\H{o}s-R\'enyi图上隔离架构和监督贡献，填补了关于叠加可达性的这一空白。在架构上，我们确定了一个Möbius吸引子：在树机制中的$S_n$对称性下，逐层动力学简化为一个一维Möbius映射，其零集是一个包含等权重叠加状态的全局最优的余一维流形。 在监督方面，我们确定了级联监督：一种损失类，其反向传播同时提供（A）选择性引导，（B）跨深度梯度持久性，以及（C）每步区分（例如，\mathcal{L}_{sup}和\mathcal{L}_{node}）。端到端监督不满足条件（B）并且被证明是不够的：在层c的内部梯度在图形扇出中衰减为(np)^{-(D-c-2)/2}，并在到达流形之前停滞。 我们的论点：Möbius吸引子 + 级联监督 = 叠加推理的出现。无参数衰减律预测在深度D=3时，最终步余弦为0.35 vs 0.71（端到端 vs 级联）；实验证实为0.37 vs 0.69，每一步匹配在0.02以内。
查看原文

相似文章

@ZhihuFrontier: 半年前，一位知乎答主预测下一个Transformer将吸收循环、递归状态、稀疏路由……

X AI KOLs Timeline

一位知乎答主半年前的预测——下一个Transformer将吸收循环、递归状态、稀疏路由和潜在推理——随着Loop Engineering的推进，正变得越来越有现实意义。本文探讨了未来的Transformer架构如何演变为混合模型：将线性复杂度的层用于背景上下文，注意力机制用于精确推理，再加上更细粒度的稀疏性和原生的System 2推理。

CascadeFormer: 受梯度扇入不对称启发的深度渐缩Transformer

arXiv cs.LG

本文介绍了CascadeFormer（一种深度渐缩的Transformer架构）和CascadeFlow剪枝方法，两者均受梯度扇入不对称（GFA）启发，该现象解释了为何深层贡献较小。这些方法通过降低延迟、提高吞吐量来提升效率，同时保持有竞争力的性能。

Transformer 记忆的吸引子几何：从冲突仲裁到自信幻觉

arXiv cs.AI

本文提出了一个统一的几何框架，用于理解 Transformer 的内存故障，通过隐藏状态吸引子盆地（attractor basins）区分冲突仲裁与幻觉。研究表明，随着模型规模的扩大，几何边际（geometric margin）在检测这些故障方面优于输出熵。