on-device-training

Qapla'是一个项目，演示了在8美元的ESP32-S3微控制器上从头训练一个小型Transformer语言模型，表明无需GPU或数据中心即可实现设备端训练。

本文介绍了GLOBE，一种轨迹对齐的核心集选择框架，它利用跨多个检查点的梯度轨迹和多阶匹配与结构化稀疏优化来选择紧凑且具有代表性的训练子集，在六个基准上优于现有方法。

本文解释了联邦学习作为一种保护隐私的机器学习技术的概念，该技术通过在本地设备而非中央服务器上训练模型来实现。文章详细描述了加密参数更新和聚合的过程，旨在降低数据泄露风险，同时保持模型性能。