@BetaTomorrow: #DeepManifoldInterpretation 论文：《语言模型的熵校准》 作者：Steven Cao, Gregory Valiant, 等人…

#深度流形解读
论文：《语言模型的熵校准》
作者：Steven Cao, Gregory Valiant 与 Percy Liang（@percyliang）

论文的熵校准结果可解读为：在递归改变边界条件下产生的内在路径不稳定性。

在自回归生成过程中，每个生成的词元都成为下一段上下文的组成部分，因此每一步都改变了迭代积分的边界条件，并可能将推理过程引向学习流形中约束更弱的不同区域。

论文所测量到的熵值上升，因此可视为可访问路径扩散度的增加，而不仅仅是逐词元误差的累积。

对于自然语言而言，规模提升收效甚微，因为重尾分布的数据不断暴露流形中的新稀疏区域；扩大模型规模虽能扩展覆盖范围，但也会揭示更多约束不足的几何结构。

截断和低温解码通过收窄可容许路径来稳定生成过程，但会牺牲多样性。

最引人深思的是，论文提出的“未来熵“概念暗示了一种路径感知的替代方案：选择当前词元不仅依据其局部概率，还需考虑它所开启的延续序列的预期稳定性。

#深度流形解读
论文：《小规模实验：我们准备好了吗？》
作者：Nicholas Lourie（@NickLourie）, Kyunghyun Cho（@kchonyc）, Karen Ullrich（@karen_ullrich）, Sanae Lotfi（@LotfiSanae）

论文发现经过精心调优的小模型能够复现大规模趋势，这一结论自然契合数据驱动架构的理念，但也揭示了其局限性。学习本质上是逆问题：表达数据所需的结构与自由度是事先未知的。

因此深度流形理论主张：架构应当遵循学习空间而定，而非仅凭规模预设。具体而言——

《深度流形第二部分：神经网络数学》§4.7 数据驱动架构指出
模型规模应主要由学习空间内数据的非线性程度决定。

小规模实验能揭示特定架构族内的扩展趋势，但无法独自确定基础学习问题最终所需的自由度数量。

论文的第二个重要观察——小模型对超参数高度敏感，而这种敏感性随规模扩大而减弱——可通过深度流形理论解读为刚性与训练动态的差异。

小模型具有较少的有效自由度，因而更刚性：学习率、预热策略、归一化方法或其他训练条件的变化会更强烈地约束其演化中的流形。

大模型具有更强的表征弹性，能够容纳或围绕此类扰动进行重组。

更重要的是，训练是动态过程，超参数的作用不仅限于施加时刻；其影响会通过后续迭代传播，并可能在很久之后才体现在学习到的几何结构中。

正如《训练动态的数学考量》中所述，训练条件具有时间延迟效应，因为每次参数更新都会改变后续所有学习的起始状态。

从这一视角看，大模型并非简单地对超参数敏感性降低，而是对延迟效应具有更强的动态耐受性。