在日用设备上启用隐私保护型 AI 训练

MIT News — Artificial Intelligence 2026/04/29 04:00 论文

摘要

麻省理工学院研究人员开发了一种名为 FTTE 的新框架，将隐私保护型联邦学习的速度提升了 81%，使得在智能手表和传感器等资源受限的边缘设备上高效进行 AI 训练成为可能。

麻省理工学院研究人员开发的一种新方法可以将一种保护隐私的人工智能训练方法的效率提高约 81%。这一突破可能使更多种类的资源受限边缘设备（如传感器和智能手表）能够部署更准确的 AI 模型，同时确保用户数据的安全。麻省理工学院的研究人员提升了一种称为联邦学习的技术的效率，该技术涉及一个互联设备网络，这些设备协同工作以训练一个共享的 AI 模型。在联邦学习中，模型由中央服务器广播到无线设备。每个设备使用其本地数据训练模型，然后将模型更新传输回服务器。数据保持安全，因为它们保留在每个设备上。但网络中并非所有设备都有足够的容量、计算能力和连接性，以便及时与服务器来回存储、训练和传输模型。这会导致延迟，从而恶化训练性能。麻省理工学院的研究人员开发了一种技术来克服这些内存限制和通信瓶颈。他们的方法旨在处理具有不同限制的异构无线网络设备。这种新方法可能使在具有严格安全和隐私标准的高风险应用（如医疗保健和金融）中使用 AI 模型变得更加可行。“这项工作的重点是将 AI 引入小型设备，目前在这些设备上尚无法运行此类强大的模型。我们在日常生活中随身携带这些设备。我们需要 AI 能够在这些设备上运行，而不仅仅是在巨型服务器和 GPU 上，这项工作朝着实现这一目标迈出了重要一步，”电气工程与计算机科学系（EECS）研究生、该技术<a href="https://arxiv.org/pdf/2510.03165" target="_blank">论文</a>的第一作者 Irene Tenison 表示。她的合著者包括 Lincoln Laboratory 的机器学习工程师 Anna Murphy ’25；来自瑞士洛桑联邦理工学院（EPFL）的访问学生、Flower Labs 的机器学习工程师 Charles Beauville；以及高级作者、麻省理工学院计算机科学与人工智能实验室（CSAIL）的首席研究科学家 Lalana Kagal。这项研究将在 IEEE 神经网络国际联合会议上发表。减少滞后时间许多联邦学习方法假设网络中的所有设备都有足够的内存来训练完整的 AI 模型，并拥有稳定的连接以快速将更新传回服务器。但在由智能手表、无线传感器和手机等异构设备组成的网络中，这些假设显得不足。这些边缘设备的内存和计算能力有限，并且经常面临间歇性的网络连接。中央服务器通常会等待接收来自所有设备的模型更新，然后对这些更新进行平均以完成训练轮次。该过程会重复执行，直到训练完成。“这种滞后时间会减慢训练过程，甚至导致其失败，”Tenison 说。为了克服这些限制，麻省理工学院的研究人员开发了一种名为 FTTE（Federated Tiny Training Engine，联邦微型训练引擎）的新框架，以减少每个移动设备所需的内存和通信开销。他们的框架涉及三项主要创新。首先，FTTE 不再将整个模型广播给所有设备，而是发送较小的一部分模型参数，从而减少了每个设备的内存需求。参数是模型在训练期间调整的内部变量。FTTE 使用一种特殊的搜索程序来识别能在不超过特定内存预算的情况下最大化模型准确性的参数。该限制是基于内存受限最严重的设备设定的。其次，服务器使用异步方法更新模型。服务器不再等待所有设备的响应，而是累积传入的更新，直到达到固定容量，然后继续进行训练轮次。第三，服务器根据接收更新的时间对每个设备的更新进行加权。这样，较旧的更新对训练过程的贡献较少。这些过时数据可能会阻碍模型，减慢训练过程并降低准确性。“我们采用这种半异步方法，因为我们希望让能力最弱的设备参与到训练过程中，以便它们能为模型贡献数据，但我们不希望网络中功能更强的设备长时间空闲并浪费资源，”Tenison 表示。实现加速研究人员在仿真中测试了他们的框架，其中包含数百个异构设备以及各种模型和数据集。平均而言，FTTE 使训练过程比标准联邦学习方法快 81% 完成。他们的方法将设备端内存开销减少了 80%，通信负载减少了 69%，同时达到了与其他技术相近的准确性。“因为我们希望模型尽可能快地训练，以节省这些资源受限设备的电池寿命，所以我们确实在准确性上做出了权衡。但在某些应用中，准确性的轻微下降是可以接受的，尤其是因为我们的方法速度快得多，”她说。FTTE 还展示了有效的可扩展性，并为更大的设备群提供了更高的性能提升。除了这些仿真之外，研究人员还在一个由计算能力各异的小型真实设备网络中测试了 FTTE。“并非每个人都有最新的 Apple iPhone。例如，在许多发展中国家，用户可能拥有功能较弱的手机。通过我们的技术，我们可以将这些联邦学习的优势带到这些环境中，”她说。未来，研究人员希望研究他们的方法如何用于提高 AI 模型在每个设备上的个性化性能，而不是关注模型的平均性能。他们还希望在真实硬件上进行更大规模的实验。这项工作部分由 Takeda 博士奖学金资助。

查看原文

查看缓存全文

缓存时间: 2026/05/08 08:50

# 在日常生活中设备上实现隐私保护型 AI 训练来源: https://news.mit.edu/2026/enabling-privacy-preserving-ai-training-everyday-devices-0429 麻省理工学院（MIT）研究人员开发的一种新方法可将隐私保护型人工智能训练方法的加速率提高约 81%。这一进步有望使更多资源受限的边缘设备（如传感器和智能手表）在保持用户数据安全的同时，部署更准确的 AI 模型。麻省理工学院的研究人员提升了一种被称为联邦学习（Federated Learning）技术的效率。联邦学习涉及一个互联设备网络，这些设备协同工作以训练共享的 AI 模型。在联邦学习中，模型从中央服务器广播到无线设备。每个设备使用其本地数据训练模型，然后将模型更新传回服务器。由于数据保留在每个设备上，因此数据得以安全保护。但网络中并非所有设备都具备足够的容量、计算能力和连接性，以便及时存储、训练并将模型与服务器来回传输。这会导致延迟，从而降低训练性能。麻省理工学院的研究人员开发了一种技术来克服这些内存限制和通信瓶颈。他们的方法旨在处理由具有各种限制的无线设备组成的异构网络。这种新方法使得在具有严格安全和隐私标准的高风险应用（如医疗和金融）中使用 AI 模型变得更加可行。 “这项工作旨在将 AI 引入目前无法运行此类强大模型的小型设备。我们在日常生活中随身携带这些设备。我们需要 AI 能够运行在这些设备上，而不仅仅是在巨型服务器和 GPU 上，这项工作是实现这一目标的重要一步，”电气工程与计算机科学（EECS）研究生、该技术论文（https://arxiv.org/pdf/2510.03165）的主要作者 Irene Tenison 表示。她的合著者包括：林肯实验室的机器学习工程师 Anna Murphy ’25；来自瑞士洛桑联邦理工学院（EPFL）的访问学生、Flower Labs 的机器学习工程师 Charles Beauville；以及麻省理工学院计算机科学与人工智能实验室（CSAIL）的首席研究科学家、资深作者 Lalana Kagal。该研究成果将在 IEEE 国际神经网络联合会议上发表。 **减少延迟时间** 许多联邦学习方法假设网络中的所有设备都有足够的内存来训练完整的 AI 模型，并具备稳定的连接性以快速将更新传回服务器。但在由智能手表、无线传感器和手机等异构设备组成的网络中，这些假设并不适用。这些边缘设备的内存和计算能力有限，且经常面临间歇性的网络连接问题。中央服务器通常会等待接收来自所有设备的模型更新，然后对这些更新进行平均以完成一轮训练。该过程会重复进行，直到训练完成。 “这种延迟时间会减慢训练过程，甚至导致训练失败，”Tenison 说。为了克服这些限制，麻省理工学院的研究人员开发了一种名为 FTTE（联邦微型训练引擎，Federated Tiny Training Engine）的新框架，该框架减少了每个移动设备所需的内存和通信开销。他们的框架涉及三项主要创新。首先，FTTE 不再将整个模型广播给所有设备，而是发送较小的模型参数子集，从而降低每个设备的内存需求。参数是模型在训练过程中调整的内部变量。 FTTE 使用一种特殊的搜索程序来识别那些能在不超过特定内存预算的情况下最大化模型准确性的参数。该限制基于内存最受限的设备来设定。其次，服务器采用异步方法更新模型。服务器不再等待所有设备的响应，而是积累传入的更新，直到达到固定容量，然后再继续下一轮训练。第三，服务器根据接收时间来对来自每个设备的更新进行加权。这样一来，较旧的更新对训练过程的贡献就会减少。这些过时的数据可能会阻碍模型，减慢训练过程并降低准确性。 “我们采用这种半异步方法，因为我们希望让能力最弱的设备参与训练过程，以便它们能为模型贡献数据，但我们不希望网络中能力更强的设备长时间闲置而浪费资源，”Tenison 说。 **实现加速** 研究人员在模拟环境中对数百个异构设备以及各种模型和数据集测试了他们的框架。平均而言，与标准联邦学习方法相比，FTTE 使训练过程完成速度快了 81%。他们的方法将设备内存开销减少了 80%，通信负载减少了 69%，同时达到了与其他技术相近的准确率。 “因为我们要让模型尽可能快地训练，以节省这些资源受限设备的电池寿命，所以我们在准确性上确实存在权衡。但准确性的轻微下降在某些应用中是可以接受的，尤其是因为我们的方法速度快得多，”她说。 FTTE 还展示了有效的可扩展性，并为更大的设备群体提供了更高的性能增益。除了这些模拟之外，研究人员还在一个由计算能力各异的小型真实设备网络中测试了 FTTE。 “并非每个人都拥有最新的 Apple iPhone。例如，在许多发展中国家，用户可能拥有性能较弱的手机。通过我们的技术，我们可以将联邦学习的优势带入这些场景，”她说。未来，研究人员希望研究如何利用他们的方法来提高 AI 模型在每个设备上的个性化性能，而不是专注于模型的平均性能。他们还希望在真实硬件上进行更大规模的实验。这项工作部分由 Takeda 博士奖学金资助。

在日用设备上启用隐私保护型 AI 训练

相似文章

联邦学习

朝向校准、公平且准确的深度伪造检测

M$^2$FedAQI: 用于异构边缘设备空气质量预测的多模态联邦学习

@PyTorch：无需重构的联邦学习最有价值的数据往往最难移动。法规约束…

MemPrivacy：面向边缘-云智能体的隐私保护个性化记忆管理

提交意见反馈