标签
本文介绍了HOLA，一种为快速AI模型（如线性注意力和状态空间模型）提供额外记忆缓存以存储令人惊讶的事实的方法，在不牺牲速度的情况下提高了它们在长上下文任务中的回忆能力。
本文介绍了Google Research联合康奈尔和南加大提出的一种新方法，通过为RNN的记忆拍快照并缓存，使RNN能高效处理长文本，兼具Transformer的强记忆和RNN的低成本，为长上下文AI提供新方向。