@oneill_c: 1/ 你真的能把新事实添加到大语言模型的权重中而不破坏模型吗？这个问题决定了我们如何接近…

1/ 你真的能把新事实注入大语言模型的权重中，同时又不破坏模型吗？

这个问题决定了我们如何进行持续学习：记忆应该存在于上下文（检索、压缩缓存）中，还是权重本身？

我们花了很长时间进行测量，发现模型崩溃的方式比我们预期的要奇怪得多，这让我们更看好压缩KV缓存和上下文学习用于持续学习，而不是权重更新本身。

2/ 如果权重写入有效，模型能在部署后像学习其他所有事物一样继续学习，而记忆系统只是一种变通方案。如果权重写入无效，那么记忆属于上下文，我们应该针对这个通道进行工程设计。

到目前为止，我们觉得这方面的争论主要基于直觉。

3/ 实验设置：编造一些模型明显不知道的事实。每个事实包含五种问题类型，从回忆到多跳使用。我们与原始模型（下限）以及同一事实出现在提示中的模型（上限）进行比较。

每次写入的评估都介于这两者之间。

4/ 第一个意外是，写入产生的结果取决于训练数据，而非训练目标。如果只训练简单的陈述句，模型能复述事实但无法使用它（与同一事实出现在上下文中相比，存在27个百分点的差距）。

如果训练多样化的重述，差距缩小到5个百分点，因此广度是关键变量。

5/ 现在一次写入20个事实。对于用简单陈述句训练的事实，只有1%幸存；而对于用多样化重述训练的事实，有46%幸存。

写入产生的知识类型决定了它能否幸存。当写入次数增加到100次时，保留率稳定在25–28%。

6/ 然而，奇怪的是，被遗忘的事实并没有消失。一个事实无法回答我们所能提出的任何问题后，它写入时的对数概率提升仍有57–67%残留在权重中。因此内容还在，但语言模型忘记了如何访问它。

7/ 那么问题都跑到哪里去了？在用简单陈述句写入的情况下，被遗忘事实中70%的错误答案包含了最新事实的内容。

后来的写入并不会抹去早期事实，而是劫持了那些原本能够触及早期事实的问题。

8/ 而且这种失败在遗忘发生之前就已存在。如果你教模型两个事实，每个单独都能使用，然后问一个需要同时用到两者的问题：正确率只有32%。而把同样的两个事实放在提示中：正确率为91%。因此，写入存储了内容，但从未创建访问地址。

9/ 你至少能避免破坏模型吗？答案是不能迭代地避免——而这正是我们关心的持续学习的主要场景！

能力损伤与原始模型的KL散度高度相关（12种条件下ρ=0.83）。如果针对原始模型的冻结副本进行蒸馏，20个事实仅带来+2个点的能力损失。

但即使采用这种最安全的写入方式，到第20个事实时也几乎丢失了一半的事实。

10/ 我们尝试了局部控制。一个线性预测器能预测每次更新的即时效果（ρ=0.795），但不幸的是，它对最终的遗忘毫无预测能力（ρ=−0.258）。将更新投影到远离测量冲突的方向，并不比随机投影更好。

因此没有任何局部方法能引导长期动态。

11/ 与此同时，上下文通道始终有效。在相同的写入序列下，上下文中的使用衰减速度并不比一般能力快。一个被遗忘的事实，一旦其陈述重新出现在提示中，就能再次达到77–80%的正确率。

12/ 那么，模型能否在其权重中持续学习事实呢？

创造可用知识：可解决（数据广度）。 保持能力：可解决（冻结教师、KL惩罚）。 保持早期事实可访问：未解决——我们测试的所有方法都不行。

权重是一个良好的缓存，却是一个糟糕的记录系统。

13/ 我从这一切中得出的结论是：创造模型的所有训练都是围绕设计最佳上下文学习机制而精心进行的。进一步的训练会退化这一机制，至少对于知识获取是如此。也许持续学习应该专注于为上下文学习加载正确的信息（即加载到上下文窗口中）。

因此，这至少在当下回答了架构问题：值得为记忆进行工程设计的通道，是自带地址的那个——即上下文。

论文：https://arxiv.org/abs/2607.11020
代码和数据即将发布。

由 @baseten 完成。