looped-transformers

本文分析了循环（权重共享）变换器中的残差缩放问题，表明权重共享需要比标准残差网络更强的缩放（1/N），并推导出一种因式参数化方法，使得超参数可以在不同循环次数之间迁移，无需重新调参。

本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。

Looped Transformers 的共同发明者 Angeliki Giannou 已成功通过博士论文答辩，并即将开始新的职位。Dimitris Papailiopoulos 在社交媒体上送上了祝贺。