标签
本文通过从参数空间转向函数空间，开发了一个统计力学框架来分析深度神经网络中的学习动态，推导了精确的误差动态和涨落效应。
本文介绍了Fora（函数空间正交残差适应），一种在微调过程中通过将更新投影到从激活导出的函数空间方向而非权重空间方向来保护现有能力的方法。在Qwen3-1.7B上的实验表明，在保持翻译和数学能力方面，它优于权重空间投影和标准正则化。