invented-facts

本文研究了语言模型能否通过持续学习在其权重中学习新事实。通过使用虚构事实并顺序写入Qwen3模型，研究发现训练数据的广度决定了知识类型和保留程度：单纯陈述的事实会迅速被遗忘（20次写入后准确率仅1%），而从多样化复述中学习的事实保留了46%的准确率。被遗忘的事实并未被擦除，而是由于后续写入重定向了问题而变得行为上不可访问，上下文仍然是事实组合和存续的可靠渠道。