LLM记忆：处理新信息的5种方法

在HuggingFace上偶然看到这篇关于LLM记忆的文章。它超越了传统的"记忆层"方法——那种方法仅局限于LLM当前的能力。文章还探讨了不同方法下LLM能保留多少历史信息，以及当新信息与旧状态冲突时会发生什么。这张表格将方法分为五类： **存储更多**：保留显式历史，例如KV缓存和检索/RAG。新旧信息可以共存，由系统在读取/检索时决定哪一个适用。 **压缩**：将历史折叠进固定大小的状态，例如线性注意力、RetNet和Mamba。这节省了空间，但存储的关联会相互干扰，随着上下文增长会限制回忆能力。 **纠正**：通过门控或预测误差更新来控制变化，例如门控线性注意力、mLSTM和DeltaNet。通常比简单的"压缩"更高效，但在更大上下文下的扩展同样困难。 **推理时学习**：利用输入的证据更新可变参数，例如TTT和Titans。 **分布可塑性**：将变化分散到状态的各个交互部分，例如Dragon Hatchling（BDH）。记忆存在于高维空间中，具有稀疏性和分布性。 一个让我更容易理解的例子是：一个编程智能体学习到某个函数签名已发生变更。同时保留新旧两套定义意味着它保留了信息，但仍需判断哪套定义应该指导它的下一次调用。这使得读取时效率降低。 我怀疑这些类别是否处于同一比较层面。有些描述的是模型层面的机制，而另一些描述的是系统层面的设计。 好奇大家在这里怎么看这个问题，尤其是那些为自己的智能体构建过记忆系统的同行。当某些信息过时后，你们是立即更新记忆，还是保留历史并让模型在检索时自行判断？随着信息量的增长，哪种方法实际上效果更好？ 表格与框架：R. Vimalkanth 和 T. Chudiwal，IIT Madras，《The Missing Piece in LLM Memory: Why Long Context and Retrieval Aren’t Enough for Belief Revision》，HF社区文章。