标签
本文表明，在推理时将 GPT-2-XL 中 729 个对任务而言冗余的注意力头置零，可使逐字记忆减少 91.5%，同时略微改善 WikiText-103 上的困惑度，为缓解大语言模型的隐私泄露提供了一种无需训练的方法。
本文使用最小描述长度分析语言模型的整数序列基准测试，揭示这些基准测试通常测量记忆而非归纳推理，并引入了一个新的难度度量。