标签
本文将智能体联盟形成和智能体间通信形式化为合作博弈，提出了边际价值激活规则和基于Shapley的在线路由，以降低多智能体LLM系统中的token成本并提高效率，并提供了理论保证和合成模拟结果。
本论文解决了分布式与联邦优化中的七个挑战，提出了ProxSkip和Variance Reduced ProxSkip等方法，并为通信高效、鲁棒且实用的算法建立了理论基础。
Presents DG-FedReuse, a federated learning mechanism that reuses age-decayed cached client updates under a proxy-gradient threshold to reduce uplink communication, achieving significant modeled savings with minimal accuracy loss on image classification benchmarks.
QFedPolyp 提出了一种用于息肉分割的联邦学习框架，该框架利用量化感知训练来降低通信成本并实现更快的推理，同时保护隐私。
介绍了一种名为VRDQ的分布式Q学习算法，用于在静态和时变网络上进行多智能体强化学习，该算法具有有限时间收敛保证，在样本复杂度上实现线性加速，且仅需Õ(1)次通信。
本文介绍了FLITE（联邦低秩迭代训练引擎），一种联邦微调方法，通过使用冻结的仿射映射网络，从一个小型可训练潜变量和低秩可种子重生的因子分解生成权重，将每轮每客户端的通信量降至每轮1280个浮点数（约5KB）——相比于全权重FedAvg减少了8718倍。在CIFAR-100数据集上使用ResNet-18进行测试，准确率与全权重FedAvg相差在0.5个百分点以内。
本文介绍了PFAdapter，一种用于多模态大语言模型（MLLMs）个性化联邦微调的通信高效框架。它采用分层LoRA分解，将适配器参数分离为全局共享和本地私有组件，通过正交正则化实现通信成本降低近50%，同时提升个性化性能。
SCAPE是一种通信高效的分布式优化器，利用一阶矩统计量实现LLM训练的极端稀疏化，在保持准确性的同时将实际训练时间减少高达43.3%。
本文介绍了TallyTrain，一种通信高效的联邦蒸馏方法，该方法仅传输每个探针的argmax类索引（硬标签共识），而非完整的softmax向量，从而将带宽减少多达三个数量级，同时匹配或超越软标签蒸馏的性能，并帕累托优于FedAvg、FedProx和FedDF等标准联邦学习基线。
本文研究垂直联邦学习中的选择性升级问题，提出一种基于期望增益的评分方法，在低成本的本地预测和高成本的嵌入融合之间进行路由，以优化通信与准确率之间的权衡。
本文提出了一种面向联邦分裂学习的自适应联合压缩与同步机制，用于减少物联网降雨预测中的通信开销，在不显著损失预测质量的前提下实现了显著的流量减少。
本文介绍了PACT，一种用于在多智能体LLM系统中构建智能体间通信的方法，它使用紧凑的动作状态记录来减少令牌消耗，同时保持或提高任务性能，并在SWE-agent和OpenHands上展示了效果。
本文提出CE-FedGNN，一种联邦图神经网络框架，通过不频繁地交换具有度量差分隐私保证的聚合节点表示，实现通信效率和隐私保护，并在基准测试上展示了强劲的性能。