标签
本文揭示,ELF等连续扩散语言模型报告的低生成困惑度(Gen-PPL)具有误导性,因为它奖励重复;作者确定了自条件循环中的一维吸引子为根源,并提出了ACE,一种通过减去该方向来减少重复且不牺牲质量的简单修复方法。
介绍了一种新的双向搜索启发式类——前向-吸引子(F2A),通过评估到一小簇吸引子的距离,而非整个对面前沿,降低了计算成本,相比现有方法,能够减少多达11.2倍的成对评估次数和4.8倍的节点扩展次数。
文章提出软件工程方法论应从状态视角转向动力系统视角,强调吸引子逻辑优先于治理工具,在AI时代需显式建模状态空间、吸引子、轨迹与控制,以应对AI作为高频扰动源导致的架构漂移。
本文确定了Möbius吸引子和级联监督是Transformer中叠加推理出现的关键机制,填补了图可达性任务中梯度下降收敛的理论空白。