MedicalRec: 用于图像分类的医疗推荐系统，无需重新训练

# MedicalRec: 无需重新训练的医学图像分类推荐系统  
来源：https://arxiv.org/html/2606.07553  
Roghayeh Taghavi, Aysa Hasanazde Bashkandi, Amir Ali Bengari, Mohammad Amin Raji, Mohammad Salahi Ardekani, Parisa Mardukhian, Parvaneh Rezaei, Ramin Mousa  

###### 摘要  
机器学习和深度学习的出现，极大地提升了医疗保健领域中诊断、治疗和行政系统的效率。然而，这种快速应用也带来了显著的计算能力和能源消耗成本，以及电子废弃物处理和碳排放问题。这些模型面临的挑战之一是如何为分类任务选择合适的模型。为此，研究人员尝试通过试错法在自己的数据上确定最优模型，这一过程伴随着能源消耗和浪费。本研究的目的是开发一个基于模型的医学图像分类推荐系统。为此，我们从3000篇医学图像分类领域的文章中收集了一个数据集。该数据集公开可用，名为MedicalRec-Bench，包含超过5000条在不同任务（包括皮肤癌分类、肿瘤分类、伤口分类、乳腺癌分类和MRI分类）中测试的模型记录。根据特征数量的不同，该数据集以四种模式进行评估：MedicalRec I（5个特征）、MedicalRec II（9个特征）、MedicalRec III（11个特征）和MedicalRec IV（18个特征）。由于作者未报告所有值，收集所有特征值具有挑战性；因此，数据集中包含大量缺失值。医学推荐系统（MedicalRec）是一种基于Transformer的模型，用于本研究中的项目推荐。该模型在数据集评估以及12个基础模型的评估中取得了显著成果。该模型在HitRate@100上最高达到75.5%。数据集和实现可通过GitHub链接获取：https://github.com/Ramin1Mousa/MedicalRec。  

###### 索引术语：  
医学推荐系统，推荐系统，肿瘤分类，伤口分类，乳腺癌，MRI分类  

## 1 引言  
医学图像分类在疾病的分析和诊断，以及临床护理和治疗中起着至关重要的作用。传统的机器学习和深度学习作为学习工具，在过去几十年中在医学图像分类领域取得了非凡的成果。这些模型已应用于计算机断层扫描（CT）、磁共振成像（MRI）、正电子发射断层扫描（PET）、乳腺X线摄影、超声、X射线等成像模态的分类。在机器学习模型中，目标是使用单个映射层将输入映射到输出，从而实现快速学习。相比之下，深度学习模型尝试通过多个层将输入映射到输出，学习速度较慢，但能获得更高的准确性。由于计算需求的增加，深度学习不断增长的能源消耗和碳足迹已成为一个令人担忧的问题[67 (https://arxiv.org/html/2606.07553#bib.bib67)]。IPCC-2021评估报告[2 (https://arxiv.org/html/2606.07553#bib.bib2)]指出，在21世纪期间，全球变暖将增加1.5至2°C，这将超过允许的限度。解决方案在于在未来几十年减少二氧化碳（CO2）和其他温室气体的排放。深度学习模型作为医学图像分析中一个相对较小但快速发展的领域，在碳排放中扮演着重要角色。大数据和大量计算资源的可用性加速了深度学习方法的进步。根据估计[3 (https://arxiv.org/html/2606.07553#bib.bib3)][4 (https://arxiv.org/html/2606.07553#bib.bib4)]，自2010年以来，机器学习方法所需的计算量每3.4到6个月翻一番。医学图像分类面临的挑战是为分类任务选择合适的模型。每天都有新的模型被引入，它们融合了最新的方法。在文献中的许多研究中，研究者们使用自己的数据评估数十种模型，以确定最有效的那个。这一挑战，除了耗费时间，还导致了碳排放和能源浪费。在本研究中，目标是开发一个系统，能从文献中已有的模型里，为用户的数据集推荐最佳的模型。缺乏合适的协议来提供分类模型是很繁琐的。为此，我们在这项研究中提出了MedicalRec-bench。MedicalRec-bench是一个数据集，包含从3000篇医学图像分类文章中提取的特征。该数据集包括标题、关键词、摘要、数据集的统计特征、评估指标以及每项研究中提出的最佳模型。为此，我们从每项研究中提取了19个特征。该数据集以四个版本公开提供：MedicalRec I、MedicalRec II、MedicalRec III 和 MedicalRec IV。为每个数据集选择合适的模型实际上是一个项目表示问题，属于推荐系统的范畴。推荐系统在减少冗余信息以丰富在线体验方面发挥着至关重要的作用[5 (https://arxiv.org/html/2606.07553#bib.bib5)][6 (https://arxiv.org/html/2606.07553#bib.bib6)]。它们为各种应用领域提供个性化的候选项目推荐，包括娱乐[7 (https://arxiv.org/html/2606.07553#bib.bib7)]、电子商务[8 (https://arxiv.org/html/2606.07553#bib.bib8)]和职位匹配[6 (https://arxiv.org/html/2606.07553#bib.bib6)]。推荐系统的主要概念是利用用户和项目之间的交互以及相关的上下文信息，来预测用户和项目之间的匹配分数[9 (https://arxiv.org/html/2606.07553#bib.bib9)]。由于深度神经网络在各种领域中学习表示的卓越能力，它们已被广泛用于高级推荐系统。在本研究中，我们引入了MedicalRec，用于根据输入来推荐模型。MedicalRec本质上是一个基于Transformer的模型，在最后一层使用Softmax函数来计算每个项目（模型）的得分。在该模型中，Bert被用来嵌入输入数据。获得的结果显示该模型优于十二个基线模型。  

## 2 相关工作  
人工智能的出现通过提高诊断、治疗和行政效率，改变了医疗保健领域。目前，放射科医生、心脏病专家、肿瘤学家和其他医疗专业人员正在利用这一工具来支持他们的决策并减少错误[10 (https://arxiv.org/html/2606.07553#bib.bib10)]。然而，这种快速应用伴随着对环境的影响：需要大量的计算能力和能源消耗，产生电子垃圾和碳排放[11 (https://arxiv.org/html/2606.07553#bib.bib11)]。随着越来越多的深度学习模型被开发和部署，碳排放正成为一个全球性的担忧。训练一个最先进的模型需要大量的能源，这会导致大量的温室气体排放[12 (https://arxiv.org/html/2606.07553#bib.bib12)]。  

### 2.1 训练深度学习模型的碳足迹  
为了减少排放，机器学习从业者应该在其工作中使用“绿色人工智能”。绿色人工智能指的是在取得卓越成果的同时，考虑计算成本、资源使用和碳排放的人工智能领域研究。相比之下，“红色人工智能”指的是使用大量计算能力和能源来提升准确性和最先进结果的研究[13 (https://arxiv.org/html/2606.07553#bib.bib13)]。尽管“红色人工智能”的工作具有价值和开创性，但自2016年以来，训练不同模型的总碳足迹已经翻了两番，这些排放的主要来源是电力基础设施的碳强度以及训练时间[14 (https://arxiv.org/html/2606.07553#bib.bib14)]。为达到高准确性和最先进结果而进行的长时间训练，需要大量资源，导致显著的环境成本。Strubell等人报告称，使用神经架构搜索训练一个大型深度学习模型会排放超过626,000磅的二氧化碳当量，大约相当于一辆普通汽车终身排放量的五倍[3]。此外，广泛应用于医学图像分析的卷积神经网络的发展，也大大增加了碳排放。再加上大型医学成像数据集（例如胸部X光、计算机断层扫描、磁共振成像）以及为不同任务频繁重新训练，基于CNN的模型的能源需求很容易升级，而对全球碳排放产生负面影响，却没有带来性能的大幅提升[15 (https://arxiv.org/html/2606.07553#bib.bib15)][16 (https://arxiv.org/html/2606.07553#bib.bib16)]。有助于减少碳足迹的几种方法和策略包括：1) 在训练阶段使用Carbontracker和Eco2AI等框架量化碳足迹，2) 使用联邦学习、张量网络和迁移学习等节能算法和架构，以及3) 使用碳中和能源、碳信用和碳抵消等绿色能源基础设施。缺乏测量碳足迹的标准化指标以及计算系统的生命周期评估不透明，是科技行业和机器学习从业者应关注的问题[17 (https://arxiv.org/html/2606.07553#bib.bib17)]。尽管在减少训练阶段排放和提高推理效率方面取得了显著进展，但针对新的深度学习任务（特别是在医学成像等领域）频繁重新训练模型对环境的影响，仍未得到充分探索。这一差距需要解决方案，以最大限度地利用现有的预训练模型，并减少重新训练和操作决策的碳成本。在本节中，我们回顾了几项与“绿色人工智能”和“可持续人工智能”方法论相关的工作，包括碳追踪工具、缓解策略以及其他研究。为了量化深度学习训练对环境影响的努力，研究人员开发了几个开源的碳追踪工具。CarbonTracker是一个Python包，旨在实时监测和预测训练期间的能源消耗和碳排放。它考虑了训练轮数、硬件配置和计算的地理位置。该工具已在应用于医学图像分割任务的卷积神经网络架构上得到验证[18 (https://arxiv.org/html/2606.07553#bib.bib18)]。类似地，Eco2AI提供了一个Python库，用于实时追踪能源使用和碳排放，通过提供365个地理区域的碳强度系数，为“可持续人工智能”做出贡献。在他们对使用不同采样策略的Malevich和Kandinsky文本到图像模型的评估中，作者表明，在Malevich上使用3位高斯误差线性单元（GELU）配置，与全精度版本相比，减少了17%的碳排放[19 (https://arxiv.org/html/2606.07553#bib.bib19)]。其他框架如Experiment impact tracker (EIT) 和CodeCarbon已将实时监测扩展到包括排行榜和区域性能比较等透明度功能。EIT鼓励更多的机器学习研究者采用可持续实践，例如节能算法设计、基于可再生能源的区域优化，并促进报告透明度[16 (https://arxiv.org/html/2606.07553#bib.bib16)]。最近的比较研究突出了这些追踪框架之间的差异。Verma等人进行的一项研究比较了Temporal Fusion Transformer、基于注意力的LSTM和LSTM模型，使用了世界银行指标和Our World in Data数据集。虽然TFT碳排放最低，但LSTM在三个模型中训练时间最短。有趣的是，CarbonTracker报告LSTM模型的功耗更低，这与其他工具相反，展示了碳追踪工具之间的细微差别以及工具选择的重要性[20 (https://arxiv.org/html/2606.07553#bib.bib20)]。Bannour等人进行的一项综述进一步揭示了应用于自然语言处理任务（具体是命名实体识别）的追踪框架之间的不一致性。这些差异与碳强度计算、硬件可用性和工具精度的变化有关。他们建议使用在线追踪工具，以实现可访问性和易于集成[21 (https://arxiv.org/html/2606.07553#bib.bib21)]。Lacoste等人提出了几种减少机器学习实验排放的做法，包括高效的超参数搜索、硬件选择、数据中心位置和云服务提供商。虽然云提供商最近采用了碳中和策略，但利用监测框架有助于进一步减少碳足迹。Dodge等人提出的软件碳强度指标为机器学习从业者提供了一种标准化方法，用于评估云服务器上训练和推理的环境影响。然而，隐含排放，如硬件生产和处置，仍然未被考虑[22 (https://arxiv.org/html/2606.07553#bib.bib22)][23 (https://arxiv.org/html/2606.07553#bib.bib23)]。  

#### 2.1.1 缓解策略  
几项研究探索了减少深度学习模型碳足迹的实用方法。知识蒸馏是一种使用较大的教师模型训练学生模型的策略。Rafat等人提出了一个随机框架，使用三种模型——ResNet18、MobilNetV2和ShuffleNetV2，在不同的图像分类和目标检测任务中保持了性能。他们的方法有助于降低能源消耗和碳排放，同时保持与原始设置相似的性能[24 (https://arxiv.org/html/2606.07553#bib.bib24)]。另一个方向是使用联邦学习来分散深度学习模型，但这伴随着挑战。根据配置的不同，联邦学习可能比集中式学习产生显著更高的排放——特别是硬件效率低下、聚合策略不佳、通信开销高以及数据分布不平衡。这些结果强调了需要精心设计系统以实现可比的效率和可持续性目标[25 (https://arxiv.org/html/2606.07553#bib.bib25)]。在Hasan等人对200多篇出版物（2014年至2024年）的全面综述中，他们提供了减少碳排放的实用工具和理论方法。他们提出了解决方案，如模型压缩、绿色计算、使用ML的智能电网、可再生能源整合和碳感知设计。该综述强调了需要标准化指标、明确大规模绿色模型的可持续性，以及安全与排放之间的权衡，这些都是迈向更绿色AI社区的挑战[17 (https://arxiv.org/html/2606.07553#bib.bib17)]。  

#### 2.1.2 进展与差距  
机器学习开发中的碳排放可以归类为“