论文页面 - 超越两次循环：一种可扩展的 Looped Mixture-of-Experts 配方

来源：https://huggingface.co/papers/2610.01153

摘要

LoopedTransformers 引入了循环深度（recurrent depth）这一新的大语言模型扩展轴：通过重复应用共享的 Transformer 块，它们在不增加参数量的情况下提升了有效深度。然而，在 FLOPs 对齐的比较条件下，循环对于大规模 MoE 大语言模型的收益仍不明确。其主要原因在于，额外迭代带来的增益会迅速衰减，甚至可能转为性能退化，因此用于循环的额外 FLOPs 很难换来实质性的提升。因此，以往的工作通常只停留在两次循环的设定上。

我们指出了扩展 Looped MoE 的两个主要障碍。第一，循环继承并放大了深度的诅咒：随着残差更新不断累积，隐状态方差会随每一次迭代增长，这使得深层循环变得不稳定，并导致表征漂移。第二，Looped MoE 面临专家选择坍塌（expert selection collapse）的问题：路由器在多次循环中反复选择相同的专家，因此额外的迭代只是增加了计算量，却没有增加计算的多样性。

基于上述诊断，我们提出了 LOOM，它建立在一个核心原则之上：每一次循环都应该贡献新的计算，同时保持循环状态的稳定。LOOM 通过缩放残差更新以约束方差增长，并在每一次循环中重新注入输入嵌入，从而稳定循环状态；同时，它通过逐循环路由器（激活不同的专家）以及一种将先前输出向后传递的循环残差（Looping Residual）来增加多样性。在 100M–1.7B 规模模型上的实验表明，该方法可稳定扩展至 9–12 次循环。在近似等 FLOPs 条件下，700M 模型在 5 次循环时表现最佳，将困惑度从 18.36 降至 16.54，并将平均零样本准确率从 38.84% 提升至 39.53%（相比非循环基线）。在不做 FLOPs 匹配的条件下，在 600 亿 token 上训练的 1.7B 模型在 9 次循环时达到峰值，困惑度从 9.62 降至 7.77，平均零样本准确率从 42.4% 提升至 47.7%。代码已开源：https://github.com/hed-ucas/LOOM

查看 arXiv 页面 (https://arxiv.org/abs/2610.01153) 查看 PDF (https://arxiv.org/pdf/2610.01153) GitHub0 (https://github.com/hed-ucas/LOOM) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.01153)

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.01153，即可从此页面链接到该论文。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.01153，即可从此页面链接到该论文。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.01153，即可从此页面链接到该论文。

收录此论文的合集 0

暂无合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该论文。