+3.2 on ARC-E with only +0.0024% parameters and +0.056% FLOPs. Frac-Connections 通过划分隐藏状态而非像 Hyper-Connections 那样扩展它们，重新审视了残差连接，以几乎零额外计算实现了更强的下游性能。

https://t.co/JDz0xTsOF6

Frac-Connections：Hyper-Connections 的分数扩展

来源：https://arxiv.org/html/2503.14125 1]ByteDance Seed\contribution[†]通讯作者

（2025年3月18日）

摘要

残差连接是现代深度学习架构的核心，它通过缓解梯度消失问题使得深度网络的训练成为可能。Hyper-Connections 最近通过在不同深度引入多个连接强度来推广残差连接，从而解决了梯度消失与表征坍塌之间的跷跷板效应。然而，Hyper-Connections 通过扩展隐藏状态的宽度增加了内存访问成本。在本文中，我们提出 Frac-Connections，一种将隐藏状态划分为多个部分而非扩展其宽度的新方法。Frac-Connections 在保留 Hyper-Connections 部分优势的同时降低了内存消耗。为了验证其有效性，我们在语言任务上进行了大规模实验，其中最大的模型是训练了多达 3T tokens 的 7B MoE 模型，结果表明 Frac-Connections 显著优于残差连接。

\correspondence Defa Zhu at ，Qiyang Min at

1 引言

参见图注 图1：基于扩展率对 Frac-Connections 和 Hyper-Connections 的比较。Frac-Connections 对应于 n≤1，而 Hyper-Connections 定义为 n≥1。当扩展率 n=1 时，两种连接类型变得相同。残差连接 7 通过促进深度网络的有效训练，彻底改变了深度学习。这些连接缓解了梯度消失，是 Transformer 和卷积神经网络（CNN）等架构的基础。然而，残差连接存在梯度消失与表征坍塌之间的权衡，即相邻层的特征变得过度相似，尤其在非常深的模型中 25, 14, 28。

Zhu 等人 28 提出了 Hyper-Connections，一种对隐藏状态维度的扩展以及可学习的深度和宽度连接，以解决这一问题。虽然有效，但 Hyper-Connections 通过扩展隐藏状态的宽度增加了内存访问。这引出了一个问题：我们能否在不增加内存访问的情况下享受 Hyper-Connections 的优势？

\begin{overpic}[abs,unit=1mm,scale={0.2},width=173.44534pt]{fig/compare_fc_hc_% baseline_cosine.pdf} \put(0.0,17.0){\small\begin{turn}{90.0} \texttt{cos}(\mathbf{h}_{0}^{i},% \mathbf{h}_{0}^{i+1}) \end{turn}} \put(20.0,0.0){\small Layer Index i} \end{overpic}图2：OLMoE-7B 模型当前层与前一层的输入之间的余弦相似度。曲线表示相似度的中位数，阴影区域表示第5百分位到第95百分位的范围。

为此，我们提出 Frac-Connections（FC），一种将隐藏状态划分为多个部分而非复制并增加其宽度的新方法。该方法将 Hyper-Connections（HC）的扩展率 n 扩展到分数域。特别地，当 n=1 时，Frac-Connections 与 Hyper-Connections 等价，如 图1 所示。这在保留建模多个连接强度