标签
本文探讨模型崩塌不是技术缺陷，而是认识论问题：当AI模型的输出成为自身输入时，模型对现实的表征逐渐扁平化为一种自我指涉的平均值，这引发了我们如何区分一个建模世界的模型与一个只建模自身的模型的问题。
本文研究了多模型体系中的自消费训练，表明由于跨模型交互，人类策展可能适得其反并损害长期对齐。
本文将LLM中的模型崩溃重新定义为一种文化传播现象，表明迭代学习理论预测了自我训练下组合性的非单调轨迹，并在多种语言和模型上得到证实。
科学家声称已找到一种解决方案，防止AI模型在人类生成数据耗尽时自我蚕食，解决了模型崩溃问题——即基于合成数据训练的大语言模型会产生胡言乱语和幻觉。
本文提供的证据表明，对语言模型输出的自训练并不会均匀地使语言扁平化，而是对其进行重组，表层标记（话语连接词、模糊限制语、破折号）增加，而深层句法结构（被动语态、虚拟语气、插入语）崩溃，这被正式化为结构深度假说。
本文指出了标准微调在因果推理任务中存在的“模型崩溃”问题，并提出了一种结合基于图的逻辑约束的语义损失函数来防止该现象。
本文批判了媒体对LLM局限性数学证明的夸大报道，特别指出关于自我提升的条件性结论如何经常被曲解为普遍不可能性。