标签
本文提出GEAR（几何启用的注意力路由）框架，该框架利用几何作为视觉记忆的显式令牌级地址，以增强长时序相机控制视频生成，并达到最先进的成果。
本文分析了循环语言模型中注意力路由的演变，并提出了WISE，一种无需训练的推理方法，该方法重用已稳定的稀疏注意力支持，以实现高达1.76倍的注意力加速，同时在多跳问答基准测试上保持性能。
本文测试了注意力权重能揭示模型输出实际依赖内容的假设，发现注意力与因果依赖常不一致。作者提出将干预掩码获得的因果证据集作为稀疏注意力路由器的监督信号，在注意力蒸馏路由器失败的检索任务上实现了近乎完美的准确率。
介绍了一种数据自适应的高效微调方法——Queryable LoRA，它利用共享的低秩更新原子记忆，结合基于注意力的路由和指令正则化，实现动态、上下文敏感的参数更新，同时保持可扩展性。