论文页面 - CADENCE：通过覆盖自适应在线策略蒸馏弥合推理差距

来源：https://huggingface.co/papers/2607.16955

摘要

在线策略知识蒸馏将推理能力从大型教师模型迁移至紧凑学生模型，但现有方法存在三种复合失效模式：(i)冷启动崩溃——新学生模型对教师偏好token分配近乎零概率质量；(ii)状态无关的散度调度——仅依赖时间的正向/反向KL散度插值忽略学生模型的覆盖状态；(iii)二元奖励稀疏性——通过/失败信号丢弃部分正确轨迹中的信息。我们提出CADENCE，一个统一框架，针对每种失效模式提供定向修复方案。其DRIFT机制在学生采样轨迹上调度逐token的正向KL和反向KL替代目标函数的凸混合（逐token替代函数，而非序列级KL梯度估计器）。六个组件扩展该框架：(A)COVA，覆盖自适应β调度，加速从正向到反向的过渡；(B)FTB，分叉token增强，通过全局归一化熵参考在高熵位置集中梯度；(C)CCD，密集奖励，为错误但接近的轨迹添加数值邻近部分信用；(D)LAP，长度优先的正确轨迹强化；(E)EMR，熵匹配校准正则化器；(F)BSD，引导式自蒸馏阶段。在GSM8K和MATH-500（校正后512token协议，5个随机种子，报告标准差）上，CADENCE将0.5B学生模型从1.5B教师模型中蒸馏，达到69.8±0.5% GSM8K pass@1（预训练模型为48.7%；教师差距关闭63.2%），使用3B教师模型时达到72.1±0.4%（关闭76.2%），比最强的计算量匹配标签使用基线（DRIFT+二元奖励）高出+4.4±0.7个百分点。所有实验均在单个Apple Mac Studio（M系列，64GB统一内存）上运行，表明基于原则的蒸馏无需数据中心级硬件即可实现强推理质量。

查看arXiv页面 (https://arxiv.org/abs/2607.16955)查看PDF (https://arxiv.org/pdf/2607.16955)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.16955)

在你的代理中获取此论文：

hf papers read 2607\.16955

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.16955 以从本页面链接它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.16955 以从本页面链接它。

引用此论文的Space0

没有Space链接到此论文

在Space README.md 中引用 arxiv.org/abs/2607.16955 以从本页面链接它。

包含此论文的收藏集0

没有收藏集包含此论文

将这篇论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从本页面链接它。