标签
论文提出了 TAPS(轨迹自适应进展–波动调度器),通过将终端损失敏感度分解为持续进展与中心化波动两部分,自适应调整循环 Transformer 中循环更新的步长,在无需重新训练的情况下提升准确率,并在训练阶段应用时可带来最高 1.56 倍的实测耗时加速。
DART提出了一种针对循环推理模型的分布对抗训练框架,通过使用局部目标分布代替单点监督,提升了模型在结构化问题上的鲁棒性和性能。
本文介绍了BDH-CQ,一个150M参数的循环模型,它结合了上下文学习和潜在推理,以每任务0.0007美元的成本在ARC-AGI-1上取得了29.5%的成绩,为成本效率树立了新标准。