positional-embedding

介绍了 HDD-RoPE，这是旋转位置编码的一种扩展，它使用高维块和数据相关的旋转速率，在 TinyStories 数据集上显示出比 xPos 更快的收敛速度。

本文证明，文本到图像的扩散Transformer模型主要依赖文本编码器中的标记合并和词序，而非完整的上下文嵌入，表明图像模型本身能够解码复杂的语言结构。

Bernini 提出了一种统一的视频生成与编辑框架，将多模态大语言模型用于语义规划、扩散模型用于像素渲染，通过语义接口分离和增强位置编码实现最先进性能。

EndPrompt 提出了一种方法，仅使用短训练序列即可扩展大语言模型的上下文窗口，通过将终端提示锚定到目标长度的位置索引。该方法在基准测试中取得了优异结果，且计算量远少于全长度微调。