神经网络优化的迷思

Chinese Edition: 神经网络优化的迷思

大约在2026年6月，X平台上流传着一份非正式的ChatGPT估算，称大约有20万篇关于机器学习优化的论文已发表。确切数字难以核实，但这个规模是可信的：神经网络研究在优化器、梯度、损失景观、学习率、收敛性和训练动力学上投入了巨大精力。然而，在这浩如烟海的文献背后，藏着一个更基本的问题：优化目标在哪里？神经网络研究中所称的目标——损失函数——是由数据、标签、奖励以及其他外部强加的边界条件构建的。它衡量的是相对于这些条件的残差，但并未指定网络必须学习的未知关系结构。当这种边界残差泛函被误认为是学习本身的优化目标时，神经网络优化的迷思便由此产生。

这种混淆源于将学习与优化置于同一概念层次。优化是降低预定义标量数值的数值过程，而学习则是从不完整的观测中重建未知结构。因此，梯度迭代可在训练中使用，但这并不意味着学习本身就是一个优化问题。损失通过衡量与给定边界条件的差异来引导迭代器，但它并不决定哪些关系应该被学习、局部结构如何连接、哪些内部通路有效，或网络在面对未观测数据时应如何表现。将神经网络学习表述为一个逆问题更为合适：数值迭代降低边界残差，同时网络从众多可允许的替代方案中构造出一个可能的全局关系结构。

一旦将训练理解为逆重建，训练曲线便只提供了一个有限的观测窗口。它展示了聚合边界残差是否在下降，但并未揭示所学习的数学结构正在如何被构建。我们反而应关注由权重定义的分片流形叠加体的同调演化。在训练过程中，权重定义的局部覆盖可能连接、分离、合并或失去有效关系；环和高阶结构可能形成、持续或坍缩；各层间叠加覆盖的映射可能发生结构转变。这些变化发生在数学覆盖本身之中，而不仅仅是由采样输入产生的激活点云中。激活属于物理覆盖，提供了学习结构在边界条件下的具体实现，而训练的核心对象是权重定义的分片流形的同调演化。

训练曲线衡量边界残差的减少；数学覆盖的演化同调则揭示所学内容的形成与重组。仅凭数值收敛无法告诉我们：是否已经形成了连贯的全局结构？所学关系是否稳定？可塑性是否保留？抑或是相似的最终损失隐藏着本质上不同的数学覆盖？因此，应通过残差、局部覆盖、层间连接性、同调持续性、结构转变以及边界条件变化下的稳定性等共同演化来研究神经网络训练。核心问题不再仅仅是损失下降的速度，而是下降过程中正在构造的是何种分片流形叠加体。

• 什么是深度流形？

• 神经网络定点场

• 现实世界中的深度流形

单标几何系列

• 单标的几何01：拓扑

• 单标的几何02：DeepSeek V4 与流形撕裂

• 单标的几何03：数据复杂性

• 单标的几何04：对流形引导的批评

• 单标的几何05：数值流形

• 单标的几何06：堆叠分片流形

• 单标的几何07：注意力

deepmanifold.ai