post-hoc-compression

本文提出在知识蒸馏前对推理轨迹进行压缩，以降低计算成本和推理长度。实验表明存在准确率与效率的权衡：压缩轨迹保留了原始轨迹最多96%的准确率，同时每token效率提升高达18倍。