relative-attention

Thinking Machines Lab 发布 Inkling，一款拥有 975B 总参数、41B 激活参数的开权重多模态 MoE 模型，并具备可控的思维调节功能。该模型采用无编码器的方式实现多模态，在多个基准测试上达到了最先进水平。

PJ-RoPE将RoPE的傅里叶相位、Jordan-RoPE的有限若尔当块和ALiBi的仿射近因性统一到一个可学习的相对位置空间中，并研究了不同任务对该空间区域的选择。