reasoning-compression

本研究引入了针对推理轨迹的章节感知压缩，训练模型舍弃填充性叙述，同时保留计算和验证片段，在比原始推理少用2-3倍词元的情况下，达到或超越原始准确率。

本文提出了混合策略蒸馏（MPD），这是一个将大教师模型的简洁推理行为转移到更小规模的学生模型的框架，在提升性能的同时，将令牌（token）使用量最多降低了27.1%。