标签
SAS 引入了一种门控稀疏注意力机制，该机制通过语言建模损失端到端优化上下文排序，在紧凑注意力预算下提升推理和长上下文任务的性能。
本文探讨了统一多模态模型中视觉理解与生成之间的协同效应，表明任务解耦架构和端到端优化可以通过将共存转化为协同来提升性能。
麻省理工学院和哈佛大学的研究人员介绍了Role Anchor，这是一种缓解复合AI系统中角色漂移的技术，通过在端到端优化期间强制模块遵守其指定角色，因为终端准确性可能掩盖底层故障。