标签
GradRepair-ODE引入了一个可靠性框架，用于认证和修复神经网络ODE训练中的梯度，以解决科学机器学习和生成模型中的数值稳定性问题。
本文对NAVSIM v2.2的防御性驾驶评分进行了审计，表明共享的参考条件化宽恕规则与数值不稳定性相结合，可能导致无视交通参与者的探针得分高于人类重放，从而削弱基准测试的有效性。
本文证明，对BF16优化器状态使用随机舍入可以匹配FP32性能，因为无偏误差随时间抵消，而四舍五入则因累积偏差而停滞。一项使用MLP的实验表明，BF16+SR在减少内存使用的同时达到了与FP32相似的损失。