mixture-of-neighbors

本文介绍了MoNIM，一种可学习的记忆模块，它将注意力头的归纳能力与前馈网络相结合，使半参数语言模型能够实现可扩展的持续学习，提高了新知识的学习效率与保留能力。