通信高效、鲁棒且实用的分布式与联邦优化的理论基础

arXiv cs.LG 论文
distributed-optimization federated-learning communication-efficiency optimization-theory arxiv

摘要

本论文解决了分布式与联邦优化中的七个挑战，提出了ProxSkip和Variance Reduced ProxSkip等方法，并为通信高效、鲁棒且实用的算法建立了理论基础。

arXiv:2608.06563v1 公告类型：新 摘要：机器学习与优化共同发展，实际需求推动了新理论的出现，而理论突破又促成了新应用。现代大规模训练依赖于经典的优化原理，但分布式系统的约束要求重新审视这些基础。本论文探讨了理论与实践交汇处的七个挑战，重点关注联邦学习和分布式优化中的关键瓶颈。首先，我们提出了ProxSkip，并证明局部梯度步可以加速通信，为这一广泛使用的启发式方法提供了理论基础。其次，我们开发了Variance Reduced ProxSkip，它在平衡通信与局部计算的同时，消除了随机局部更新的邻域误差。第三，我们证明在部分客户端参与下，局部步仍能保持其通信加速效果。第四，我们证明了服务端步长和无不放回采样可以在异构设置中改善收敛。第五，针对Random Reshuffling，我们证明压缩梯度差而非梯度可带来更好的理论和实际性能。第六，我们证明通过梯度差裁剪可以同时实现拜占庭鲁棒性和部分参与。最后，我们为基于随机非对称链的低秩适配建立了首个理论框架，为微调大模型提供了新见解。综合这些贡献，我们引入了新颖的算法框架，在现实假设下建立了精确的保证，并通过数值实验支持了理论结果。
查看原文
查看缓存全文

缓存时间: 2026/08/10 08:02 

# 通信高效、鲁棒且实用的分布式与联邦优化的理论基础
来源：https://arxiv.org/abs/2608.06563
查看 PDF (https://arxiv.org/pdf/2608.06563)

> 摘要：机器学习和优化共同发展，实际需求催生新理论，而理论突破又赋能新应用。现代大规模训练依赖于经典优化原理，但分布式系统的约束要求重新审视这些基础。本论文探讨了理论与实践交汇处的七大挑战，聚焦于联邦学习和分布式优化中的关键瓶颈。首先，我们提出了 ProxSkip，并证明了局部梯度步可以加速通信，为这一广泛使用的启发式方法奠定了理论基础。其次，我们开发了 Variance Reduced ProxSkip，它在平衡通信和局部计算的同时，消除了随机局部更新的邻域误差。第三，我们证明在部分客户端参与下，局部步仍能保持其通信加速效果。第四，我们证明了在异构环境中，服务器端步长和无放回采样能够改善收敛性。第五，针对 Random Reshuffling，我们证明压缩梯度差而非梯度本身，能够获得更好的理论和实际性能。第六，我们证明了利用梯度差裁剪可以同时实现拜占庭鲁棒性和部分客户端参与。最后，我们基于随机非对称链构建了首个低秩适配的理论框架，为大型模型微调提供了新的见解。在这些贡献中，我们引入了新颖的算法框架，在现实假设下建立了精确的保证，并通过数值实验支撑了理论。

## 提交历史

来自：Grigory Malinovsky [查看邮件](https://arxiv.org/show-email/de962595/2608.06563) **\[v1\]** 2026年8月6日星期四 20:20:52 UTC \(8,021 KB\)

相似文章