标签
本文提出了一种自适应贝叶斯合作伙伴选择（ABPS），这是一种点对点联邦学习框架，利用贝叶斯方法自适应选择合作伙伴，以在异构医疗环境中减少通信成本同时保持准确性。
本文介绍了一种用于通信高效联邦LoRA微调的自适应相位切换方法，在保持大型语言模型性能的同时，实现了高达40.5%的通信成本往返节省。
EMMI 提出了一种方法，用于在边缘设备上通过压缩表示来实现通信高效的 MLLM 推理，将通信负载降低 32 倍，同时保持准确性。
本文提出了一种用于室内火灾检测的联邦学习方法，通过压缩更新和轮换协调器，解决了带宽限制、拜占庭攻击和固定服务器问题。
FedSubMuon是一种通信高效的联邦LLM微调方法，它在结构化子空间内优化紧凑系数矩阵，以减少上传成本同时保持强劲性能。
本文介绍了X-CoSD，一个通信高效的跨词汇协作推测解码框架，通过拆分残差重采样来优化分布式大语言模型推理，以减少开销，同时保持服务器端大语言模型的质量。
本文介绍了RW-LoRA，这是一种利用随机游走减少通信和计算成本的去中心化LoRA微调方法，同时在NLP任务上实现竞争性性能。
本文提出了一种基于极化码的跨层联邦学习方案，以解决通信瓶颈和信道损伤问题，提供收敛分析和资源优化，并展示了相对于未编码和LDPC基准的性能提升。
本文将智能体联盟形成和智能体间通信形式化为合作博弈，提出了边际价值激活规则和基于Shapley的在线路由，以降低多智能体LLM系统中的token成本并提高效率，并提供了理论保证和合成模拟结果。
本论文解决了分布式与联邦优化中的七个挑战，提出了ProxSkip和Variance Reduced ProxSkip等方法，并为通信高效、鲁棒且实用的算法建立了理论基础。
Presents DG-FedReuse, a federated learning mechanism that reuses age-decayed cached client updates under a proxy-gradient threshold to reduce uplink communication, achieving significant modeled savings with minimal accuracy loss on image classification benchmarks.
QFedPolyp 提出了一种用于息肉分割的联邦学习框架，该框架利用量化感知训练来降低通信成本并实现更快的推理，同时保护隐私。
介绍了一种名为VRDQ的分布式Q学习算法，用于在静态和时变网络上进行多智能体强化学习，该算法具有有限时间收敛保证，在样本复杂度上实现线性加速，且仅需Õ(1)次通信。
本文介绍了FLITE（联邦低秩迭代训练引擎），一种联邦微调方法，通过使用冻结的仿射映射网络，从一个小型可训练潜变量和低秩可种子重生的因子分解生成权重，将每轮每客户端的通信量降至每轮1280个浮点数（约5KB）——相比于全权重FedAvg减少了8718倍。在CIFAR-100数据集上使用ResNet-18进行测试，准确率与全权重FedAvg相差在0.5个百分点以内。
本文介绍了PFAdapter，一种用于多模态大语言模型（MLLMs）个性化联邦微调的通信高效框架。它采用分层LoRA分解，将适配器参数分离为全局共享和本地私有组件，通过正交正则化实现通信成本降低近50%，同时提升个性化性能。
SCAPE是一种通信高效的分布式优化器，利用一阶矩统计量实现LLM训练的极端稀疏化，在保持准确性的同时将实际训练时间减少高达43.3%。
本文介绍了TallyTrain，一种通信高效的联邦蒸馏方法，该方法仅传输每个探针的argmax类索引（硬标签共识），而非完整的softmax向量，从而将带宽减少多达三个数量级，同时匹配或超越软标签蒸馏的性能，并帕累托优于FedAvg、FedProx和FedDF等标准联邦学习基线。
本文研究垂直联邦学习中的选择性升级问题，提出一种基于期望增益的评分方法，在低成本的本地预测和高成本的嵌入融合之间进行路由，以优化通信与准确率之间的权衡。
本文提出了一种面向联邦分裂学习的自适应联合压缩与同步机制，用于减少物联网降雨预测中的通信开销，在不显著损失预测质量的前提下实现了显著的流量减少。
本文介绍了PACT，一种用于在多智能体LLM系统中构建智能体间通信的方法，它使用紧凑的动作状态记录来减少令牌消耗，同时保持或提高任务性能，并在SWE-agent和OpenHands上展示了效果。