标签
本文研究了语言模型能否通过持续学习在其权重中学习新事实。通过使用虚构事实并顺序写入Qwen3模型，研究发现训练数据的广度决定了知识类型和保留程度：单纯陈述的事实会迅速被遗忘（20次写入后准确率仅1%），而从多样化复述中学习的事实保留了46%的准确率。被遗忘的事实并未被擦除，而是由于后续写入重定向了问题而变得行为上不可访问，上下文仍然是事实组合和存续的可靠渠道。
本文介绍了SIA，一种自我改进的AI循环，它结合了脚手架重写和权重更新（通过LoRA）以提升任务性能。在三个不同的任务上测试，它优于仅使用脚手架改进的设置。
Aravind Jayendran 认为，尽管更长的上下文窗口能提升 LLM 表现，却无法完全取代权重更新；他将上下文比作瞬态软件，而权重则是能根本改变模型能力的硬件。