repetition

本文揭示，ELF等连续扩散语言模型报告的低生成困惑度（Gen-PPL）具有误导性，因为它奖励重复；作者确定了自条件循环中的一维吸引子为根源，并提出了ACE，一种通过减去该方向来减少重复且不牺牲质量的简单修复方法。

本文研究了在混合预训练中稀缺目标数据与丰富通用数据之间的权衡，发现重复是驱动性能的关键因素，并且混合训练能容忍目标数据重复15-20次。我们引入了一个考虑重复影响的缩放定律，以优化数据约束条件下的混合配置。