tiny-stories

#tiny-stories

高维动态旋转位置编码 [P]

Reddit r/MachineLearning ↗ · 3天前

介绍了 HDD-RoPE，这是旋转位置编码的一种扩展，它使用高维块和数据相关的旋转速率，在 TinyStories 数据集上显示出比 xPos 更快的收敛速度。

0 人收藏 0 人点赞