标签
本文认为，对于AI系统而言，专业化是不可避免的，其依据来自优化理论、进化生物学、竞争市场和机器学习。文章解读了Goldfeder、Wyder、LeCun和Shwartz-Ziv在2026年发表的一篇论文，挑战了“能力越强则通用性越强”的假设。
本文分析了离散参数空间中采用确定性或随机舍入的梯度下降（GD）和随机梯度下降（SGD）的泛化误差、一致稳定性和一致参数稳定性，表明舍入会降低GD的泛化性能，并为随机舍入引入了维度相关的误差。
本文提出了随机方差缩减估计的统一理论框架，通过新的Freedman不等式推导出高概率界，并改进了约束优化的预言机复杂度。
GPT-5 帮助数学家 Ernest Ryu 解决了一个困扰优化理论40年的开放问题，涉及 Nesterov 加速梯度法的稳定性性质。这一突破展示了大型语言模型通过从数学文献中提取相关技术和思想来辅助重大数学发现的能力。