标签
本文提出了FAIR-Calib，一种用于扩散大语言模型的两阶段训练后量化框架，解决了迭代精炼过程中令牌提交的不稳定性问题。在低比特量化下，它在LLaDA和Dream模型上取得了最先进的结果。
本文提出了dMoE，一种用于扩散大语言模型的块级混合专家框架，该框架将词元级专家分布聚合成块级路由，在保持性能的同时减少激活的专家数量和内存使用。