标签
本文提出正交超连接 (oHC)，将残差混合矩阵限制在旋转群 SO(n) 上，以维持训练稳定性并防止流同质化。在下游任务评估中，oHC 优于单流残差基线和流形约束超连接等方法。
这篇 arXiv 论文介绍了 TEMPER，一种用于超连接残差路由的张量化参数化方法，在保持表达性、流形约束路由的同时减少参数增长。实验表明，在需要大幅减少额外参数的情况下，它能够匹配或超越现有方法。
本文介绍了xHC（扩展超连接），一种能够在Transformer中将残差流从原先的N=4限制有意义地扩展的方法，在18B和28B的MoE模型上取得了持续改进，且仅增加了适度的训练FLOPs。此外，还提出了xHC-Flash以减少内存流量，使得大型N残差流扩展在大语言模型预训练中变得实用。
TBP-mHC 为残差网络中的流形约束超连接提出了一种新颖的参数化方法，实现了 Birkhoff 多面体的完全表达能力，具有 O(n²) 自由度，同时提升了稳定性和可扩展性。