标签
本文介绍了熵界（Entropic Bound），这是一种针对Transformer的任务内在容量的谱度量，证明了令牌混合算子的内在秩为所需模型容量提供了一个紧的下界。本文表明，虽然从线性注意力到真实注意力的简单迁移会失败，但注意力原生的内在秩能恢复完整的理论结构。
本文提出了统一神经缩放定律（UNSL），这是一种函数形式，能够准确建模和推断深度神经网络在多个维度（如参数、数据和步骤）同时变化时的缩放行为，相较于之前的缩放定律有所改进。