Paper page - Compress-Distill：推理轨迹压缩用于高效知识蒸馏

来源：https://huggingface.co/papers/2606.05988

摘要

对推理轨迹进行事后压缩可降低计算成本和推理长度，同时保持高准确率，在知识蒸馏中实现了准确率与效率的权衡。

推理模型会生成冗长的思维链轨迹 (https://huggingface.co/papers?q=chain-of-thought%20traces)，这些轨迹蒸馏成本高昂且助长学生输出冗余。我们研究了在知识蒸馏 (https://huggingface.co/papers?q=knowledge%20distillation) 前对此类轨迹进行事后压缩 (https://huggingface.co/papers?q=post-hoc%20compression) 的方法。两个教师模型 Qwen3.5-397B-A17B 和 gpt-oss-120B 各自生成了约 28.3 万条正确轨迹；两个指令微调模型 (https://huggingface.co/papers?q=instruction-tuned%20models) 随后将这些轨迹压缩至原始字符长度的 8.6%-21.0%。通过包含 48 次运行的主网格以及七次 Qwen 教师截断消融实验，我们发现压缩轨迹将训练 token 减少至原始量的 12%-30%，训练速度提升 2.0-7.6 倍，推理输出长度缩短 3-19 倍（在较短的 gpt-oss 教师下缩减幅度较小）。然而，原始轨迹在任何规模下、对两位教师均保持了最高的下游准确率。一项长度匹配的原始轨迹截断消融实验表明，压缩并非仅仅受益于更小的 token 预算：模型压缩后的轨迹通常优于或持平朴素截断，尤其对于较小规模的学生模型，同时还能保持更短的推理输出。总体而言，推理轨迹压缩提供的是准确率与效率的权衡，而非免费改进：学生模型最多可保留原始轨迹准确率的 96%，同时获得高达 18 倍的每 token 效率提升；在 0.8B 规模下采用 LoRA (https://huggingface.co/papers?q=LoRA) 时，压缩轨迹缩小了原始与压缩之间的差距，但并未超越原始轨迹。

查看 arXiv 页面 (https://arxiv.org/abs/2606.05988)查看 PDF (https://arxiv.org/pdf/2606.05988)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.05988)

在你的agent中获取此论文：

hf papers read 2606\.05988

还没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

无模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2606.05988 以从本页面链接。

引用本论文的数据集0

无数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.05988 以从本页面链接。

引用本论文的Space0

无Space链接本论文

请在Space README.md 中引用 arxiv.org/abs/2606.05988 以从本页面链接。

包含本论文的收藏集0

无收藏集包含本论文

将本论文添加至一个收藏集 (https://huggingface.co/new-collection) 以从本页面链接。