标签
This paper introduces SpecDrop, a parameter-free category-conditioned routing scheme for modular networks, showing that on vision tasks it achieves competitive accuracy while on fuzzy language partitions it reduces to no-routing baselines, suggesting granularity alignment matters more than router design.
本文提出了一种无参数的自适应稀疏注意力方法，利用gzip压缩比动态选择非冗余块进行长程注意力，在PG-19语言建模上相较于固定和学习的稀疏注意力基线取得了显著的困惑度提升。
本文介绍了AdaNAGED，一种结合零阶优化、无参数自适应和非欧几里得更新几何的方法，用于大型语言模型的内存高效微调，具有理论收敛保证，并在OPT-1.3B模型上进行了验证。
本文识别出梯度振荡和残差爆炸是循环Transformer训练不稳定的原因，并提出了全循环Transformer，包含两个无需参数调整的修改（全循环架构和注意力注入），能够稳定训练至12次循环迭代，在下游任务性能上实现了高达13.2%的提升。