论文页面 - 以弱促强：面向大型推理模型的弱化诱导同策略自蒸馏

来源：https://huggingface.co/papers/2610.38681

摘要

WISD 通过将推理模型与其量化或剪枝后的较弱版本进行对比，在无需特权数据的情况下生成训练信号，从而提升模型性能.

自蒸馏 (https://huggingface.co/papers?q=Self-distillation)为在缺乏合适外部教师模型时改进推理模型 (https://huggingface.co/papers?q=reasoning%20models)提供了一种途径. 然而，常见方法依赖特权信息来构建更强的自教师模型，这限制了它们在仅有未标注提示可用时的应用. 本文提出弱化诱导同策略自蒸馏 (https://huggingface.co/papers?q=On-Policy%20Self-Distillation)(WISD)，该方法转而构建原始模型的较弱版本，并利用两者之间的差异作为训练信号，无需特权信息. 我们探索了两种构建较弱模型的方法：低比特量化 (https://huggingface.co/papers?q=low-bit%20quantization)和幅值剪枝 (https://huggingface.co/papers?q=magnitude%20pruning). 我们在数学和编程推理任务上，针对多种架构和规模的模型评估了 WISD. 在这些基准测试中，量化和剪枝分别使原始模型的平均准确率提高了 4.0 和 5.5 个百分点，即使没有特权信息，也达到了最先进的性能. 值得注意的是，剪枝将 Qwen3.5-4B 在 HMMT 2025 上的准确率从 57.7% 提高到 70.5%，在 LiveCodeBench v6 上的准确率从 39.1% 提高到 56.7%. 量化则将 Qwen3.6-35B-A3B 在相同基准测试上的准确率分别从 68.5% 提高到 74.6%，以及从 61.8% 提高到 69.5%. 这些结果确立了 WISD 作为一种面向大型推理模型 (https://huggingface.co/papers?q=reasoning%20models)的新颖且有效的自蒸馏 (https://huggingface.co/papers?q=self-distillation)框架的地位.

查看 arXiv 页面 (https://arxiv.org/abs/2610.38681)查看 PDF (https://arxiv.org/pdf/2610.38681)项目页面 (https://jet-ai-projects.github.io/WISD/)GitHub0 (https://github.com/jet-ai-projects/WISD)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.38681)

在你的智能体中获取这篇论文：

hf papers read 2610\.38681

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.38681，即可在此页面建立指向该模型的链接.

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.38681，即可在此页面建立指向该数据集的链接.

引用这篇论文的 Space0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.38681，即可在此页面建立指向该 Space 的链接.

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面建立指向该合集的链接.