突破OPD教师天花板！最新论文MAD-OPD：让小模型学会“老师们争出的答案”

论文：MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate 链接：https://arxiv.org/abs/2605.01347 代码：https://github.com/chiefovoavicii/MAD-OPD

OPD（On-Policy Distillation）已然大模型后训练里的“标配动作“：学生先在自己的轨迹上生成答案，教师再沿着学生前缀逐 token 给监督。因此它相比离线蒸馏更能优化到自身参数分布内的轨迹，但也有一个绕不开的上限：如果监督只来自一个教师，学生最终会被这个教师的盲点卡住。

教师犯错，学生就会学错。工具调用里算错日期、选错 API，代码生成里走到不一致的实现分支，这些错误都会被 OPD 当成训练目标写进学生模型。到了 Agentic 场景，问题还会更麻烦：一次错误工具调用会改变环境反馈，后面的多轮对话和长程轨迹都跟着偏掉。

我们提出 MAD-OPD，就是想打破这个 single-teacher ceiling。不要让一个教师马上拍板。先让多个教师围绕学生当前状态辩论，互相挑错、互相修正，再把辩论后的共识蒸馏给学生。

Agent 训练循环

图中框架把教师之间的交互放进了 OPD 的训练循环。

学生先在当前状态 sₘ 下采样动作 aₘ。如果是代码生成任务，这是一次完整生成；如果是 Agentic 任务，这就是当前一轮工具调用或环境交互。主图里的橙色外环对应 OPAD（On-Policy Agentic Distillation）：环境返回 observation 后，学生进入下一步状态，教师再围绕新状态继续辩论。

MAD-OPD 从设计上就不是单轮问答方案，它面向的是多轮对话、工具调用和长程 Agent 轨迹。

在每一步，K 个教师进行 R 轮辩论：

hᵣᵏ ~ p_{Tₖ}(·| sₘ, {hᵣ’ʲ}ⱼ,ᵣ’<ᵣ)

完整辩论记录 ℋₘᴿ 只给教师看，不给学生看。教师带着这份“会议纪要“去批改学生动作，学生只能通过梯度把共识学进去。

辩论结束后，我们让每个教师给出置信度，并转成权重：

wₖ = exp((cₖ/100)/τ_conf) / Σⱼ exp((cⱼ/100)/τ_conf)

最后，教师带着辩论记录 force-decode 学生动作，学生不带辩论记录。训练目标变成：

ℒMAD-OPD(θ) = 𝔼[ 1/|aₘ| · Σₜ Σₖ wₖ · D( p{Tₖ}(·|sₘ, ℋₘᴿ, aₘ,<t) || pₛ(·|sₘ, aₘ,<t) ) ]

简单理解：单教师 OPD 是“一个老师直接批改“；MAD-OPD 是“几个老师先开会，把互补错误纠出来，再批改“。比如tau2-bench中的一个case，旅行工具调用里，一个教师把“下个月“算错成 10 月，但天数算对；另一个教师月份算对，却把天数算错。辩论一轮后，两个错误都被指出来，监督信号才真正打到错误 token 上。

辩论之外：长轨迹训练也要稳

Agentic 任务难蒸馏，不只是因为任务长，还因为教师和学生在某些状态上的分布会差得很远。学生走到一个偏掉的状态，教师可能认为某些 token 几乎不该出现。

此时如果直接用反向 KL，梯度里会出现类似 q(i)·log(q(i)/p(i)) 的项；当 p(i) → 0，梯度会失控。长轨迹里，这种尖峰会被多步误差继续放大。

所以我们给出任务自适应的选择规则。对 Agentic 任务，用 JSD。我们证明：

JSD₀.₅(p||q) ∈ [0, log 2], ‖∇ᵤ JSD₀.₅(p||q)‖∞ ≤ 2

这个界不依赖轨迹长度，也不依赖教师和学生分布是否重合。对长程 Agent 训练来说，它像一个避震器。

但代码生成又是另一回事。代码题可以有很多正确解法，但一段程序必须沿着一条一致路径写完。这里我们用反向 KL，让学生集中到主实现路径上，而不是把多个正确思路平均成一个奇怪的混合体。

实验结果也很直接：在 14B+8B -> 4B 上，只换散度，JSD 的 Agentic Avg 最高，为 25.69；反向 KL 的 Code Avg 最高，为 48.12。

Agentic + Code 双线验证：4B 学生反超 14B 教师

我们把 OPD 扩展到 Agentic 领域，在 BFCL-v4、τ²-Bench、VitaBench 这类多轮工具调用/对话式 Agent benchmark 上评测；同时也在 LiveCodeBench v6、MBPP+ 上验证代码生成能力。

最有代表性的结果来自 Qwen3 14B+8B -> 4B：

方法Agentic AvgCode AvgOverall AvgBase18.6541.5027.79OPD23.2644.4131.72MT-OPD24.1441.9731.27MAD-OPD25.6948.1234.66

更突出的指标在 LiveCodeBench v6：14B 教师 pass@1 为 25.57，单教师 OPD 学生为 25.00，而 MAD-OPD 训练出的 4B 学生达到 29.83，反超 14B 教师 4.26 个百分点。BoN@16 下，MAD-OPD 4B 达到 43.43，而 14B 教师为 33.14。

此外我们做了充分消融，算法收益不是“多一个老师“这么简单。MT-OPD 的 Code Avg 低于单教师 OPD，因为教师分歧直接平均会伤害代码一致性；加入辩论后，Code Avg 从 41.97 提到 46.60；再加入置信度加权，最终到 48.12。两轮辩论是甜点区，三轮反而会因为上下文膨胀和噪声引入而退化。

MAD-OPD 最关键的一步，是把 OPD 的监督源从“单教师条件分布“升级成“多教师辩论后的共识分布“。单教师的错误不再直接进入学生，而是先经过其他教师的审视、修正和置信度加权。

这也是为什么 MAD-OPD 能突破单教师天花板：它不是让小模型凭空长出教师没有的能力，而是把教师池中分散的、互补的局部正确性组织成更强的训练信号。

对 OPD 来说，教师不再只是答案提供者，也成了彼此的错误检测器。