标签
该论文指出,用秩来衡量微更新ΔW时必须加入噪声基线:方向计数类指标显示微更新仅略低于噪声,而稳定秩则显示远低于噪声,二者共同揭示更新具有少数强方向加长尾的结构。研究还发现指令数据、DPO偏好标签对更新并无显著特殊性,并质疑了'后训练是表面性的'相关论断。
作者对比了八种智能体持续学习工具按其作用层(记忆、提示、技能、权重)的分类,并补充了一个关键缺失维度:权重更新是否能在不停止服务的情况下到达推理引擎。文章重点介绍了能在推理持续进行时热更新权重的 reef 项目。
本文利用奇异值分解分析LLM的后训练权重更新,识别出驱动性能提升的几何成分,表明重塑奇异值不如旋转和路由变化关键。
本文研究了语言模型能否通过持续学习在其权重中学习新事实。通过使用虚构事实并顺序写入Qwen3模型,研究发现训练数据的广度决定了知识类型和保留程度:单纯陈述的事实会迅速被遗忘(20次写入后准确率仅1%),而从多样化复述中学习的事实保留了46%的准确率。被遗忘的事实并未被擦除,而是由于后续写入重定向了问题而变得行为上不可访问,上下文仍然是事实组合和存续的可靠渠道。
本文介绍了SIA,一种自我改进的AI循环,它结合了脚手架重写和权重更新(通过LoRA)以提升任务性能。在三个不同的任务上测试,它优于仅使用脚手架改进的设置。
Aravind Jayendran 认为,尽管更长的上下文窗口能提升 LLM 表现,却无法完全取代权重更新;他将上下文比作瞬态软件,而权重则是能根本改变模型能力的硬件。