标签
作者评论当前AI研究过多使用计算机科学的思维方式而缺乏物理学方法，提出需要建立如'Cyber Space'的理想系统来奠定理论基础。
讨论AI用到的数学主要是19世纪之前的线性代数、微积分等，但涌现现象如Scaling Law、涌现能力、双下降、情境学习和表示几何缺乏数学解释，类比1900年物理学的乌云，认为可能推动21世纪数学发展。
这项模拟研究考察了线性回归中含污染数据的最小二乘插值的双重下降现象，比较了最小二乘插值器与稳健替代方法的性能。
OpenAI研究揭示了“双下降”现象，即测试误差随着模型规模和训练步数的增加呈现出非单调的模式，挑战了传统上对深度学习偏差-方差权衡的理解。