Sharpness-Aware Minimization (SAM) 提升细菌拉曼光谱数据的分类精度，实现便携式诊断

# 锐度感知最小化（SAM）提升细菌拉曼光谱数据分类准确度，实现便携式诊断
来源：https://arxiv.org/html/2609.19453
Jarett Dewbury\*Loza F\. Tadesse所属单位：麻省理工学院机械工程系地址：美国马萨诸塞州剑桥02139邮箱：[\{kzareno,jdewbury,lozat\}@mit\.edu](mailto:)Siamak K\. Sorooshyari所属单位：斯坦福大学统计系地址：美国加利福尼亚州帕洛阿尔托94305邮箱：[siamak@stanford\.edu](mailto:)Hossein Mobahi所属单位：谷歌研究院地址：美国加利福尼亚州山景城94043邮箱：[hmobahi@google\.com](mailto:)

###### 摘要

预计到2050年，抗菌素耐药性每年将夺走1000万生命，资源有限的地区受影响最为严重。拉曼光谱是一种新兴的病原体诊断方法，有望在数小时内实现快速便携的抗生素耐药性检测，而使用金标准方法则需数天时间。然而，当前的拉曼光谱分析算法存在两个主要问题：1）在多样化的患者群体中，面对有限数据集时泛化能力不足；2）由于需要进行特征提取等非平凡预处理步骤来改善拉曼光谱数据的低质量特性，导致算法复杂度增加。在本研究中，我们采用锐度感知最小化（SAM）来应对这些局限，旨在提升模型在临床细菌分离株分类任务中，面对多样化超参数设置时的泛化能力。我们证明，与传统优化器Adam相比，SAM在单一数据划分上实现了最高10\.5%的准确率提升，在所有划分的平均准确率提高了2\.7%。这些结果展示了SAM推动人工智能驱动的拉曼光谱工具临床应用的能力。代码已发布于：https://github.com/Tadesse-Lab/SAM-Raman-Diagnostics

## 1引言

抗菌素耐药性是全球第二大健康威胁，预计到2050年将超越癌症（de Kraker等，2016 (https://arxiv.org/html/2609.19453#bib.bib1)），成为美国第二大死因。根据疾病控制与预防中心（CDC）的数据，近50%的门诊抗生素使用是不合理的，包括不必要的使用以及抗生素治疗的选择、剂量和疗程不当（Centers for Disease Control and Prevention \(CDC\), 2011 (https://arxiv.org/html/2609.19453#bib.bib2);Pichichero, 2002 (https://arxiv.org/html/2609.19453#bib.bib4);Shapiro等，2014 (https://arxiv.org/html/2609.19453#bib.bib3)）。总体而言，此类使用削弱了疗效并极大地助长了抗菌素耐药性。在这种日益严峻的挑战下，我们必须认识到，某些地区，如发展中国家或冲突地区，由于难以获得优质的医院级临床护理，最为脆弱。因此，亟需一种快速、可靠、紧凑的细菌感染诊断解决方案，以提供及时准确的治疗。拉曼光谱是一种有前景的工具，它是一种光学技术，通过捕获非弹性散射光作为指纹，精准映射到特定病原体类型。该方法能在数秒内识别出主要病原体及其突变的抗生素耐药变体（Das和Agrawal, 2011 (https://arxiv.org/html/2609.19453#bib.bib5);Garcia\-Rico等, 2018 (https://arxiv.org/html/2609.19453#bib.bib7);Pieczonka和Aroca, 2008 (https://arxiv.org/html/2609.19453#bib.bib6)）。

在本研究中，我们通过使用锐度感知最小化（SAM）作为拉曼光谱数据分析的优化器，来应对处理拉曼光谱数据时固有的数据质量挑战。我们的主要贡献如下：我们证明了SAM是临床拉曼光谱病原体分类任务的有效优化器，与采用Adam的标准ResNet架构相比，在单一数据划分上实现了最高10\.5%的准确率提升，在所有划分的平均准确率提高了2\.7%。结果证明了其在将快速的设备端病原体诊断转化为患者实际应用时的准确性和泛化性。

## 2背景与相关工作

尽管拉曼光谱是便携式快速传染病诊断的有前景工具，但拉曼光谱数据往往复杂、高维且多噪。由于拉曼光谱数据质量的固有限制，当前基于机器学习（ML）的拉曼光谱方法常常面临两个问题：1）由于需要额外的增强步骤（如特征提取（Gautam等, 2015 (https://arxiv.org/html/2609.19453#bib.bib10);Pelletier, 2003 (https://arxiv.org/html/2609.19453#bib.bib9)））而导致复杂度增加；2）由于数据集有限和样本量小（这些样本在个体患者样本内及患者群体间存在高变异性（Luo等, 2022 (https://arxiv.org/html/2609.19453#bib.bib11)））而导致泛化能力差。这些数据挑战限制了便携式拉曼光谱诊断的临床转化。

深度学习提供了从数据中提取非线性关系而无需非平凡预处理的优势（Liu等, 2017 (https://arxiv.org/html/2609.19453#bib.bib12)），从而在临床转化中实现更优的分类和更快的处理速度。一维卷积神经网络（CNN）和ResNet是拉曼分类任务中最常用的模型，某些架构（图1 (https://arxiv.org/html/2609.19453#S3.F1)）在使用拉曼光谱分类病原体类型和抗生素耐药性方面达到了高达99%的准确率（Ho等, 2019 (https://arxiv.org/html/2609.19453#bib.bib8);Ogunlade等, 2023 (https://arxiv.org/html/2609.19453#bib.bib13)）。然而，以往的ML分类任务需要多个样本来进行多数类预测，而采样是一个耗时的过程，在需要快速评估的临床转化中不太理想。

SAM为解决传统ML方法应用于小数据集时面临的泛化挑战提供了潜在方案。与可能产生尖锐最小值且泛化能力差的先前优化方法不同，SAM是一种通过同时最小化损失值和损失锐度来改善泛化能力的优化技术（Foret等, 2021 (https://arxiv.org/html/2609.19453#bib.bib15)）。有效泛化到未见数据的能力使SAM成为解决拉曼光谱数据深度学习推理任务中常见数据有限问题的有用工具。尽管其在医疗相关任务中取得了成功（Song等, 2022 (https://arxiv.org/html/2609.19453#bib.bib17);Anand等, 2022 (https://arxiv.org/html/2609.19453#bib.bib16)），并且有望推动在数据质量受关注的任务中增强泛化能力，但SAM尚未应用于拉曼光谱数据。在本研究中，我们通过使用SAM来提升模型在患者衍生细菌分类任务中面对多样化超参数设置时的泛化能力，以填补这一空白。

## 3方法

### 3\.1抽样方法：

通过受试者水平抽样保留了临床意义，即从训练集或测试集中排除完整的患者样本。这种方法确保了模型在训练期间未见过测试集中临床分离株的任何光谱，保持了受试者水平模拟的完整性。我们在临床评估流程中使用了此方法，如下所述。

为了展示我们算法的性能，我们使用了来自Ho等（2019）(https://arxiv.org/html/2609.19453#bib.bib8)一项关于拉曼光谱和CNN的前沿研究的公开光谱数据。我们获取了涵盖五种最常见一线抗生素治疗组的临床细菌分离株光谱数据。这些数据以两个不同的生物重复组形式收集。该数据集包含从单个患者收集的50个不同的临床分离株，分为五种细菌病原体类别。每种感染类型包含均等的五种患者来源分布。为了评估SAM与ResNet架构在拉曼光谱上的有效性，我们对该临床光谱数据集进行了随机分层划分。

为了展示临床相关的评估，我们首先从每个生物重复组中为每种感染类型随机分配一名患者到测试集（图A\.1 (https://arxiv.org/html/2609.19453#A1.F1)）。每种类型中剩余的四名患者用于训练，按90/10的比例划分为训练集和验证集。然后我们在测试数据集上评估每个模型，该数据集包含训练流程中未见过的独立临床数据。我们重复此过程10次，每次迭代采用随机划分（图1\(b\) (https://arxiv.org/html/2609.19453#A1.F1.sf2)）。此方法用于增强测试集内的变异性并引入多样化的数据划分。我们报告了在每次划分的五个试验中测试数据集上的分类结果。

### 3\.2架构配置与选定超参数

对于我们的基线架构，我们使用了Ho等（2019）(https://arxiv.org/html/2609.19453#bib.bib8)中描述的ResNet（图1 (https://arxiv.org/html/2609.19453#S3.F1)），因为该架构在细菌分类任务中已被证明有效。在实验过程中，对该架构及相关超参数进行了修改以优化模型性能。在实验中，我们考察了高斯误差线性单元（GELU）激活（Hendrycks和Gimpel, 2016 (https://arxiv.org/html/2609.19453#bib.bib18)）、修正线性单元（ReLU）激活（Nair和Hinton, 2010 (https://arxiv.org/html/2609.19453#bib.bib19)）和缩放指数线性单元（SELU）激活（Klambauer等, 2017 (https://arxiv.org/html/2609.19453#bib.bib20)）的使用。我们在配备1块NVIDIA T4 GPU的单台主机上训练了所有模型。

图1：在临床拉曼光谱数据上训练的CNN被用于病原体分类任务。公开的光谱数据和CNN架构改编自Ho等（2019）(https://arxiv.org/html/2609.19453#bib.bib8)。使用一个具有6个残差块和总共25个卷积层的一维残差网络，将临床拉曼光谱分为5种分离株之一。
### 3\.3SAM通过寻找平坦最小值改善泛化能力

对于基线优化器，我们使用了原版Adam（Kingma和Ba, 2015 (https://arxiv.org/html/2609.19453#bib.bib21)），这是深度学习中的常见选择。虽然Adam和类似的优化器专注于寻找低损失值的参数，但损失曲面的几何形状（特别是其在最优解附近的锐度）已被证明会显著影响模型泛化能力（Keskar等, 2016 (https://arxiv.org/html/2609.19453#bib.bib14)）。这一观察结果催生了锐度感知最小化（SAM）的发展，它寻求在具有均匀低损失的区域中寻找参数Foret等（2021）(https://arxiv.org/html/2609.19453#bib.bib15)。我们按照Foret等（2021）(https://arxiv.org/html/2609.19453#bib.bib15)的描述使用SAM，通过优化以下目标函数在平坦损失盆地内寻找参数\(\bm{w}\)：

\[ \displaystyle \min\_{\{\bm{w}\}} L^{\text{SAM}}\_{\mathcal{S}}(\bm{w}) + \lambda \|\bm{w}\|\_{2}^{2} \quad (1) \]
其中
\[ \displaystyle L^{\text{SAM}}\_{\mathcal{S}}(\bm{w}) = \max\_{\|\bm{\epsilon}\|\_{p} \leq \rho} L\_{\mathcal{S}}(\bm{w} + \bm{\epsilon}) \]

为了最小化 \( L^{\text{SAM}}\_{\mathcal{S}}(\bm{w}) \)，内部最大化被线性化并解析求解，使得梯度 \(\nabla\_{\bm{w}} L^{\text{SAM}}\_{\mathcal{S}}(\bm{w})\) 可以有效近似如下：

\[ \nabla\_{\bm{w}} L^{\text{SAM}}\_{\mathcal{S}}(\bm{w}) \approx \left\{ \nabla\_{\bm{w}} L\_{\mathcal{S}}(w) \big|\_{\bm{w} + \hat{\bm{\epsilon}}(\bm{w})} \right\} \quad (2) \]

由于所得的参数值存在于具有均匀低损失的邻域中，导致损失相对于训练目标函数的变化最小，因此模型更有可能有效泛化并抵抗扰动（Keskar等, 2016 (https://arxiv.org/html/2609.19453#bib.bib14)）。因此，通过寻找均匀低损失区域，SAM的优化算法被证明能改善模型的泛化性能。这使其非常适合处理来自临床样本的有限、高方差的拉曼光谱。在我们的实验中，我们使用了SAM的PyTorch实现111https://github.com/davda54/sam。

\(a\)\(b\)
\(c\)
图2：SAM相对于Adam在不同划分和超参数上的性能表现。\(a\) 一张图表可视化了每个模型的分类准确度，在10个划分上取平均。我们突出了SAM的性能，表明其在不同超参数下具有更高的准确度和更低的方差。\(b\) 一张表格报告了每种配置的平均分类准确度，显示SAM相比Adam在不同超参数下提升了平均准确度。具有SELU的SAM总体表现最佳，平均准确率为93\.1±4.8%93.1\\pm 4.8\\%。\(c\) 每个单独划分的结果摘要表明，使用SAM（蓝色）的ResNet配置往往优于使用Adam（橙色）的配置。

## 4结果与讨论

表1：使用Adam和SAM优化器在不同划分和超参数上训练后的测试集性能（均值±标准差，n=5）。与Adam相比，使用SAM训练在大多数划分和超参数上产生了更高的分类准确度。鉴于所实现的ResNet架构和超参数，我们观察到与Adam相比，SAM优化器将平均准确度提高了最高3\.0%3.0\\%，如图2 (https://arxiv.org/html/2609.19453#S3.F2)所示。每种配置的平均性能是通过在所有10个划分和5次试验上取平均确定的。因此，结果反映了预期的模型性能以及测试数据集内的固有方差。表1 (https://arxiv.org/html/2609.19453#S4.T1)呈现了所有评估划分的详细结果总结。如图2 (https://arxiv.org/html/2609.19453#S3.F2)所示，单个数据划分突出了SAM的性能；与Adam相比，SAM在单一划分上表现出最高10\.5%10.5\\%的性能提升。在所有划分上，SAM的平均分类准确度始终优于Adam。对于每个划分，GELU在使用SAM时相比Adam平均提高了3\.0%3.0\\%的准确度。同样，ReLU和SELU分别实现了2\.4%2.4\\%和2\.8%2.8\\%的平均准确度提升。此外，在所有划分上，SAM显著降低了准确度的预期方差。当使用GELU、ReLU和SELU时，SAM还分别平均减少了79\.1%79.1\\%、75\.2%75.2\\%和84\.3%84.3\\%的方差，如表1 (https://arxiv.org/html/2609.19453#S4.T1)所示。

\(a\)
\(b\)

图3：在所有超参数上表现最好和最差的划分中，各技术的分类准确度。\(a\) 使用SAM训练的ResNet显著优于Adam