标签
该论文研究了分布式训练中外部Nesterov动量在随机伪梯度上的稳定性，推导了随机二次模型上的精确均方稳定性判据，揭示了内层批量大小、本地步数与工作节点平均对训练稳定性的联合影响，并在神经网络上验证了理论结论。
本文探讨大型语言模型中的稳定校准错误现象，即高置信度错误在微小扰动下局部保持稳定。通过审计分数和探测等诊断方法评估校准程度和内部敏感性。