标签
UC Berkeley、Apple、EPFL、Harvard、MIT 和 Google DeepMind 的研究人员发现，在排序任务上训练的两层 Transformer 会根据初始化的不同收敛到两种机制上截然不同的解类别，其中只有双注意力层的解能够完美实现长度泛化。
该论文通过检查 Transformer 程序的程序结构，揭示了在九项算法任务中被 token 准确率指标所掩盖的失败模式，并展示了如何通过审查提取出的 Python 代码来改进训练数据、提升序列准确率。
论文提出 Recurrent Looped Transformer (RLT)，将层划分为并行因果编码器和循环解码器，使计算路径随序列长度增长而每个 token 的成本保持固定，在奇偶校验、S_5 置换追踪和模运算等算法任务上，长度外推能力显著优于标准 Transformer。
新论文发现，LLM中的涌现能力随机地从学习稀疏注意力模式中产生；瓶颈在于学习关注哪些token，这一过程缓慢且不可预测。
XLGoBench 引入了一个合成算法任务基准，用于检测大语言模型中的跨语言技能差距，并在多个先进模型中展示了持续的差距。