标签
本文介绍了X-CoSD，一个通信高效的跨词汇协作推测解码框架，通过拆分残差重采样来优化分布式大语言模型推理，以减少开销，同时保持服务器端大语言模型的质量。
本文研究垂直联邦学习中的选择性升级问题，提出一种基于期望增益的评分方法，在低成本的本地预测和高成本的嵌入融合之间进行路由，以优化通信与准确率之间的权衡。