标签
FactorEngram提出了一种用于语言模型的因式分解N-gram记忆与基级别门控，通过使上下文能够调节各个记忆组件，改善语言建模和下游任务。
提出了attention-state memory，一种免训练方法，将预计算的注意力状态存储在轻量级记忆中，以提高长前缀推理的准确率并降低延迟，在基准测试中优于传统方法。