标签
本文展示了利用 Sharpness-Aware Minimization (SAM) 来增强机器学习模型在分类细菌拉曼光谱数据时的泛化能力，将精度提高了高达 10.5%，并推进了用于抗菌素耐药性的便携式诊断工具。
本文引入了尖锐模式连接 (SMC) 来增强神经网络中权重空间插值的鲁棒性，通过优化整个路径的平坦性，在分布偏移下实现了显著的准确性提升。
Temperon是一种训练方法，仅在训练的最终阶段使用锐度感知最小化（SAM），以实现实时时钟时间减少三分之一的全时SAM质量，已在视觉和语言任务上验证。
介绍了锐度引导均衡采样（SGS），该方法利用锐度估计动态调整采样概率，以在长尾学习中实现平衡的平坦极小值，在CIFAR-100 LT和ImageNet-LT上取得了显著提升。
本文提出GEAR-SAM，通过使用平方梯度的指数移动平均来自适应地在网络块之间分配扰动预算，在不增加额外计算开销的情况下提升泛化能力。
提出EISAM，一种新的优化器，通过使用外梯度步骤扩展Sharpness-Aware Minimization，寻找更平坦的最小值，从而改进泛化能力和鲁棒性，同时降低对超参数的敏感性。在基准测试上优于SGD、Adam和SAM。
本文挑战了关于平坦最小值能导致神经网络更好泛化的普遍观点，认为‘弱性’——一种函数简单性的重参数化不变度量——才是真正的驱动力。在MNIST和Fashion-MNIST上的实验结果表明，弱性能够预测泛化，而尖锐性则与之负相关，且随着训练数据增加，大批次泛化优势消失。