标签
本文揭示了前沿大语言模型由于位置编码的限制而在精确复制任务上表现困难，并提出 2D-RoPE 方法，将文本组织为二维网格以实现完美复制，在合成数据和大规模预训练中展现出优势。
本文通过使用有序实Schur坐标来识别保持任务性能的结构消融，研究循环神经网络中的功能冗余，发现任务受限对称性在不同任务和训练方案之间存在差异。