scaling-limits

一场关于AGI是否不可避免或遭遇瓶颈的辩论，权衡AI自我改进和推理能力与缺乏理解、电力限制以及不断移动的目标等问题。

本文表明，像Forward-Forward (FF)这样的层局部训练方法无法扩展到真实的图像尺寸和数据集，且合成基准测试夸大了其性能。作者引入了一个强大的FF变体（DTG-FF），并证明在真实数据（例如224x224的ImageNet-100）上，FF仅达到49.4%，而典型BP超过75%，而在合成任务上，差距缩小甚至反转。

一项深度分析，探讨为何AI公司在知名研究者宣称缩放时代结束且收益递减已被广泛承认后，仍持续扩展系统，审视驱动该行业的结构与财务激励。

AI模型因使用递归生成的合成数据进行训练而不断退化，导致模型崩溃；多项研究强调了使用合成数据进行规模化训练的风险。