标签
SpecFold 论文提出一种算法-系统协同设计，通过识别并折叠多分支投机验证中的计算冗余（token级残差门控与折叠注意力/FFN复用），在扩散大语言模型上实现最高1.64x吞吐提升（相比Spiffy），且保持任务性能相当。
本文介绍了MOSAIC，一个联合优化稀疏专家混合模型架构与硬件系统以支持大规模预训练的框架，表明在考虑MFU、通信成本和并行布局时，计算最优的稀疏性并不一定是集群最优的。