progressive-learning

#progressive-learning

Progressive$^2$：一种用于大幅模型压缩的师生渐进协同进化知识蒸馏方法

arXiv cs.LG ↗ · 2026-08-04 缓存

提出Progressive$^2$，一种师生渐进协同进化的知识蒸馏方法，用于大幅模型压缩，解决服务器与客户端能力之间巨大差距的问题。引入了渐进式教师层选择和学生规模缩减，并配备多特征融合适配器。

0 人收藏 0 人点赞