@rohanpaul_ai: 来自上海大学论文的一个宏大想法——赋予AI模型人类式记忆。想象一下阅读一本巨大的悬疑小说……

来自上海大学论文的一个宏大想法 赋予AI模型人类式记忆 想象一下阅读一本巨大的悬疑小说，而你只能保留一张便签条。 每当出现一个新线索，便签条就必须重写，因此较早的线索逐渐淡出或被挤出。 这大致就是快速AI模型（如线性注意力和状态空间模型）内部发生的事情，它们通过将读取的所有内容压缩到一个固定的内部状态来节省内存。 问题在于，这让它们非常健忘。在“大海捞针”测试中，当需要回忆埋藏在大文档深处的某个特定事实时，它们会失败，因为新细节覆盖了之前的细节。 HOLA试图通过给这些模型提供第二个存储细节的位置来解决这个问题。 正常状态仍然处理文本的大致形状，比如语法、主题和重复模式。 新的记忆缓存存储的是正常状态似乎容易遗忘的确切信息片段。 巧妙之处在于HOLA如何决定哪些内容值得进入该缓存。 它并不是简单地保存最新的标记，因为旧的细节后来可能仍然重要。 相反，它保存那些在模型内部引起最大修正的标记，这通常意味着模型难以干净地压缩它们。 用简单的话说，HOLA保存了让模型感到惊讶的事实。 当模型稍后需要答案时，这个缓存会被以更清晰的方式读取，从而可以提取出特定保存的事实，而不是将许多记忆混合成一个模糊的猜测。 这很重要，因为快速模型通常以记忆换取速度，而全注意力Transformer保持更强的回忆能力，但随着文本变长而变得沉重。 在论文的3.4亿参数测试中，HOLA将Wikitext困惑度从27.32降低到22.92，超越了匹配的快速基线，甚至在该指标上优于报告的全注意力Transformer++。 它还在32k标记的范围内保持了更好的“大海捞针”回忆能力，尽管它是在2k标记的语境上训练的。 更大的教训是，快速AI模型不需要精确记住所有内容。 它需要知道其主要记忆难以保留哪些细节，然后在这些细节消失之前保护它们。 --- – arxiv. org/abs/2607.02303 标题: "A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets"