标签
本技术报告探讨了在Transformer块中为大型语言模型的查询/键/值投影添加轻量级深度可分离卷积,提供局部归纳偏置,以极小的参数成本提高下游任务准确性。
关于CPU缓存工作原理的详细技术说明,涵盖局部性原理、缓存组织方式、索引以及写操作处理。
本文表明,最先进的视觉-语言模型在视觉推理中的长度泛化任务上因“全局捷径”而失败,并证明将局部中央凹感知与递归相结合能够实现鲁棒的分布外泛化。
本文研究了固定块稀疏因果注意力中序列局部性与注意力图可达性之间的不匹配,形式化了边界伪影,并提出了诊断覆盖函数和一种名为边界桥注意力的最小修复方法。