2d-rope

#2d-rope

前沿语言模型难以完成精确复制：文本在二维视角下更胜一筹

arXiv cs.CL ↗ · 2026-07-20 缓存

本文揭示了前沿大语言模型由于位置编码的限制而在精确复制任务上表现困难，并提出 2D-RoPE 方法，将文本组织为二维网格以实现完美复制，在合成数据和大规模预训练中展现出优势。

0 人收藏 0 人点赞