reasoning-compression

提出了BIRD，一种两阶段自推理蒸馏方法，该方法在策略训练之前自举简洁的推理轨迹，在MATH-500和AIME基准测试上实现了更强的精度-效率权衡。在Qwen3-8B上，准确率从86.2%提升至92.0%，同时平均响应长度从3,099个token降至1,115个token。

本研究引入了针对推理轨迹的章节感知压缩，训练模型舍弃填充性叙述，同时保留计算和验证片段，在比原始推理少用2-3倍词元的情况下，达到或超越原始准确率。

本文提出了混合策略蒸馏（MPD），这是一个将大教师模型的简洁推理行为转移到更小规模的学生模型的框架，在提升性能的同时，将令牌（token）使用量最多降低了27.1%。