lossy-memory

本文表明，具有有损记忆的语言模型如果保留了错误结论而丢弃了证据，会产生自信的错误答案，而空记忆则会导致弃权。作者提出了一种源优先压缩策略，保留可重新计算的来源而非结论，以保持可纠正性，并在多个模型和对话系统中展示了这一机制。