测量对称性——数据交换率
摘要
这项探索性研究通过受控的C_n对称任务,实证测量了等变性理论预测的对称性-数据交换率,发现错误群组约束反而有害,在测试时进行轨道平均的数据增强与等变模型完全匹配,且实证交换率大致与理论一致但统计上不具决定性。作者强调了该研究的探索性,并呼吁进行注册复制研究。
等变性理论预测,架构对称性先验可将样本复杂度降低|G|倍;这一观点被广泛引用,但鲜少作为缩放定律在控制混杂因素的情况下进行测量。在一个受控的C_n对称任务上,我们报告了三个发现。首先,一个具有相同轨道大小和匹配计算量的错误群组控制比没有约束更差(联合成对置信区间[+0.79, +3.26]不包括零,在不同估计量下稳健);不对齐的约束不仅无益,反而有害。其次,配备测试时轨道平均的数据增强基线在匹配单元上与等变模型完全匹配——逐周期的验证曲线逐位相同——因此架构与数据增强之间的差距取决于不对称的测试时计算,而非无条件的。第三,相对交换率beta_diff = 1.28在符号和数量级上与理论值1.0一致(单层置信区间[+0.92, +2.05]);更保守的两层bootstrap(种子×组大小)将其扩大至[-0.63, +1.72],包括零,并且在sqrt(2)间隔的精细网格上的复制结果不确定(点估计-0.82)。方法论贡献——抵消共享难度混杂因素的相对速率估计器、错误群组控制以及预定义的失败分类——可迁移至任何其强度可参数化的归纳偏置。坦诚界定:主要估计量beta_diff是在初始分析发现正斜率可识别性问题后事后采用的;该设计从未进行外部预注册;主要数字依赖于在一个粗糙N网格上的七个组大小的OLS斜率。这是一项探索性研究,而非验证性测量;错误群组结果是最清晰的发现,也是我们最有信心的报告。未来的工作将进行在新鲜种子上的注册复制。
相似文章
[R] 测量对称性--数据交换速率
本文实证测量了等变性理论预测的对称性与数据交换速率,发现错误群对称约束具有实际危害,测试时轨道平均的数据增强与等变架构相匹配,而理论上 |G| 倍的样本复杂度降低仅得到弱证实,且置信区间较宽。该研究明确为探索性,未预先注册。
权重空间感知差距中有多少实际上是基于对称性的?基于约1.8百万拟合SIRENs的证据 [R]
本文研究了参数对称性在权重空间感知中的作用,表明仅对称性散布就能解释共享初始化和独立拟合神经网络之间性能下降的几乎全部。该研究使用SIRENs和大规模实验论证,计算优势可能证明权重空间方法优于函数访问的信息等价性。
基于神经网络权重的可观测性与位置编码相关的对称性读出
本文指出,从神经网络权重中可见的几何对称性取决于位置编码和读出可观测量,并通过在多个对称群下训练二维符号距离函数的MLP进行了验证。
激活空间顺序交换几何:一种站点不对称性审计
本文引入一种站点不对称性审计,以分离激活空间顺序交换干预中的基线效应和交互作用,表明单干预基线能解释语言模型中的大部分方差,并提出一种校正残差用于检测几何结构。
自然场景中的对称性:等变性在神经流体替代模型中的作用
本文研究了群等变架构在神经流体动力学替代模型中的作用,引入了AB-GATr模型。研究发现,当数据缺乏强对齐时,等变性是有益的,但在高度对齐的数据集上可能会降低性能。