gist-tokens

本文介绍了简化稀疏注意力（SSA），一种在持续预训练中使用Gist令牌的方法，能够在推理时无需架构更改即可实现高效的分块选择，取得了高压缩比，并在LongBench和检索增强生成等长上下文任务上优于基线。