标签
DuoMem 是一种双空间蒸馏框架,通过上下文空间蒸馏和参数空间蒸馏,将大型语言模型的过程性问题解决能力迁移至紧凑的学生模型,以极少的额外参数实现高性能并提升推理速度。该框架在 ALFWorld 上,将 4B 参数规模模型的任务成功率从 4.3% 提升至 77.9%。