标签
论文提出了 Optimal Hydra，一种面向大语言模型微调的模型异构联邦学习框架。该框架通过全局层级选择和基于客户端数据分布的注意力头选择，构建客户端专属子网络（Hydra-nets），在三个数据集上显著优于基线方法，并降低了本地资源需求。
CALM 提出了一种用于去中心化联邦学习的方法，该方法利用类内一致性和标签门控分歧调制来处理非独立同分布数据，改进了教师加权和蒸馏信任，而无需额外的通信开销。
本文研究检索增强生成中的证据效用，发现读者特定的序数偏好是稳定的，但无法可靠预测不同读者间的干预结果。
本文提出了一种多智能体推理框架，其中多个基础模型通过结构化批评和聚合进行协作，表明模型异构性显著提高了逐步推理的准确性并减少了跨领域的方差。
本文提出了HASA，一种面向异构模型联邦学习的异构感知子网分配方法，该方法在固定计算预算下根据客户端异构性分数分配子网宽度，从而提升平均准确率和最差客户端准确率。