标签
多流注意力残差（Multi-Stream Attention Residuals, MSAR）将注意力残差（AttnRes）从单流扩展为多头深度注意力，通过多尺度因果卷积引入流多样性，在 18B/28B MoE 规模的 12 项下游基准上一致优于标准残差、mHC 和 AttnRes；scaling law 实验显示，相对标准残差基线有 1.58 倍的 iso-loss 算力加速。
本文介绍了 DepthBench，一个通过改变宽度-深度比率来研究 Transformer 中计算深度的可控基准。研究发现，像 HC 和 FullAttnRes 这样的残差连接设计是将架构深度转化为有效计算的关键。
本文提出正交超连接 (oHC)，将残差混合矩阵限制在旋转群 SO(n) 上，以维持训练稳定性并防止流同质化。在下游任务评估中，oHC 优于单流残差基线和流形约束超连接等方法。
一项可重复性研究揭示了在Pre-LN Transformer中移除残差连接时产生的非对称效应：移除注意力跳跃导致崩溃，而移除FFN跳跃在较小规模下允许部分恢复。
这篇 arXiv 论文介绍了 TEMPER，一种用于超连接残差路由的张量化参数化方法，在保持表达性、流形约束路由的同时减少参数增长。实验表明，在需要大幅减少额外参数的情况下，它能够匹配或超越现有方法。
This paper unifies Euclidean residual connections and geodesic normalization on the hypersphere, introducing a one-parameter family of angular retractions called p-SpheretNorm. The proposed norm-preserving algebraic methods outperform existing deep connection schemes on nanoGPT, showing the exponential map is just one end of a spectrum.
Frac-Connections是一种新方法，通过划分隐藏状态而非扩展它们，将Hyper-Connections扩展到分数扩展率。与残差连接相比，它在几乎不增加计算量的情况下实现了更强的下游性能，并在高达7B的MoE语言模型上得到了验证。
本文提出多分辨率残差路由方法WAV v1，这是块注意力残差机制的扩展，通过引入方向性细节基来增强块表示，从而改进深度仅解码器Transformer的训练效果。
本文提出扩散自适应路由（DAR），这是一种可学习的、时间步自适应的残差替换方法，旨在改善扩散Transformer中的跨层信息流动，从而显著加速训练并提升质量。
DeepSeek 发表了一篇论文，介绍了 mHC（流形约束超连接，Manifold-Constrained Hyper-Connections），这是一种对 Transformer 架构的根本性重写，通过用数学约束的多流路径替换标准残差连接，来稳定大型模型。