Paper page - 为什么推理模型会出现覆盖收缩？数据与岔路口的作用

来源：https://huggingface.co/papers/2605.17026

摘要

推理模型在监督微调过程中会出现覆盖收缩现象，即在特定基准测试上准确率提升的同时，对更广泛任务集的性能却有所下降。这一现象源于训练数据中涉及包含多个有效路径的模糊决策点的特性。

近年来，大语言模型的进步催生了推理模型（https://huggingface.co/papers?q=reasoning%20models），这些模型通过专门的微调过程在复杂任务上展现了强大的性能。虽然这些方法能可靠地提升 pass@1 准确率（https://huggingface.co/papers?q=pass%401%20accuracy），但先前的研究已观察到它们表现出一种覆盖收缩行为，即 pass@k（https://huggingface.co/papers?q=pass%40k）相对于基础模型有所下降。本文我们探究了基于SFT的后训练中推理收缩的成因。我们假设这种行为是由微调数据的特性驱动的，具体与决策点（https://huggingface.co/papers?q=decision%20points）或“岔路口”（https://huggingface.co/papers?q=forks%20in%20the%20road）场景有关，即模型面对无法区分的模式，存在多条有效的推理路径。为验证这一假设，我们设计了受控案例研究，模拟此类决策点设置，涵盖图分支（https://huggingface.co/papers?q=graph%20branching）中的不可区分节点和推理模式（https://huggingface.co/papers?q=reasoning%20modes）。通过追踪这些设置中的后训练动态（https://huggingface.co/papers?q=post-training%20dynamics），我们发现收缩现象与训练数据中决策点场景的普遍性紧密相关。我们还证明，通过针对性的数据合成设计决策点，以及更系统的鼓励多样性解码（https://huggingface.co/papers?q=diversity-encouraging%20decoding）机制，可以部分缓解这种收缩行为。我们的发现指出，以数据为中心的因素（https://huggingface.co/papers?q=data-centric%20factors）是推理模型（https://huggingface.co/papers?q=reasoning%20models）收缩的关键驱动因素，并强调了多样性感知设计是控制该行为的有效手段。

查看 arXiv 页面 (https://arxiv.org/abs/2605.17026)查看 PDF (https://arxiv.org/pdf/2605.17026)项目页面 (https://nnhieu.github.io/blog/2026/reasoning-forks/)GitHub1 (https://github.com/psunlpgroup/reasoning_forks)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.17026)

在您的 agent 中获取此论文：

hf papers read 2605\.17026

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2605.17026 即可从此页面链接。

引用此论文的数据集0

没有数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.17026 即可从此页面链接。

引用此论文的 Spaces0

没有 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2605.17026 即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。