标签
本文介绍了多字节预测，通过并行生成多个字节来加速字节级语言模型的推理，同时对性能的影响最小。
本文介绍了简化稀疏注意力（SSA），一种在持续预训练中使用Gist令牌的方法，能够在推理时无需架构更改即可实现高效的分块选择，取得了高压缩比，并在LongBench和检索增强生成等长上下文任务上优于基线。
本文提出了一种基于头戴相机坐标系中相对手腕平移的桥梁动作表征，利用带有交错动作令牌和注意力掩码的视觉-语言-动作模型来处理具身差异，从而将人类操作技能迁移至双臂机器人。