VibeThinker: 在推理上击败Opus 4.5的3B参数模型，采用新颖的SFT+GRPO方法

# VibeThinker-3B：探索小语言模型中可验证推理的前沿
来源：https://arxiv.org/html/2606.16140
###### 摘要

本技术报告介绍了 VibeThinker-3B，一个拥有 3B 参数的紧凑型密集模型，旨在研究在严格的小模型范围内，可验证推理能推进到何种程度。基于 Spectrum-to-Signal 后训练范式，我们通过优化的流水线系统地增强了模型，该流水线包括基于课程的监督微调、多领域强化学习和离线自我蒸馏。实验评估表明，VibeThinker-3B 在要求极高的可验证任务上达到了前沿级性能。具体而言，它在 AIME26 上取得了 94.3 分（通过声明级测试时扩展提升至 97.1），在 LiveCodeBench v6 上取得了 80.2 的 Pass@1，并在最新的未见过的 LeetCode 竞赛中表现出强大的分布外泛化能力，接受率达 96.1%。这有效地将其置于一流推理系统的性能区间，匹配或超越了规模大几个数量级的旗舰模型，如 DeepSeek V3.2、GLM-5 和 Gemini 3 Pro。此外，IFEval 上的 93.4 分证实了这种极端的推理增强并未损害严格的指令可控性。延续我们之前的 1.5B 工作，这些发现推动了参数压缩-覆盖假设，该假设将可验证推理视为可压缩到紧凑推理核心中，而开放领域知识和通用能力则需要对事实、概念和长尾场景进行广泛的参数覆盖。这一视角表明，紧凑模型不仅仅是部署高效的替代品，更是通往参数密集能力领域中前沿级性能的互补路径。

参见图 1 标题：图 1：VibeThinker-3B 在 3B 规模下达到前沿推理性能。CLR 表示声明级可靠性评估，一种声明级测试时扩展策略。
参见图 2 标题：图 2：在 IMO-AnswerBench（一个包含 400 个 IMO 级别问题的高要求基准）上，与公开参数数量的开源推理模型相比的参数效率。VibeThinker-3B 以仅 3B 参数达到 76.4，并通过 CLR 达到 80.6，表明严格小模型范围内的模型可以达到远大于它的模型（如 DeepSeek V3.2（78.3，671B）、GLM-5（82.5，744B）和 Kimi K2.5（81.8，1T））的性能范围。

## 1 引言

随着强化学习 [32 (https://arxiv.org/html/2606.16140#bib.bib1),44 (https://arxiv.org/html/2606.16140#bib.bib2),47 (https://arxiv.org/html/2606.16140#bib.bib3),18 (https://arxiv.org/html/2606.16140#bib.bib4)] 越来越多地融入语言模型的后训练阶段，大型模型的复杂逻辑推理能力有了显著提升。目前，该领域普遍依赖于按照缩放定律增加参数规模，以跨越困难推理任务所需的门槛。因此，前沿推理能力通常集中在拥有数百亿或数千亿参数的模型上。相比之下，参数为 3B 或更少的小语言模型（SLM）在部署成本、推理效率和学术研究的更广泛可及性方面具有明显优势，但通常被认为在处理困难数学推导或复杂编程任务时面临固有瓶颈。

我们之前在 VibeThinker-1.5B [42 (https://arxiv.org/html/2606.16140#bib.bib5)] 上的工作表明，即使是参数极少的模型也可以被激发产生稳定且基础的逻辑链。这是对“小模型在长程推理中表现不佳”这一普遍观点的一次初步挑战。然而，1.5B 模型主要证明了小模型推理的可行性，但其上限仍有待探索。这引出了我们进一步的问题：与其将 SLM 仅仅视为节省计算的后备方案，它们的真正能力边界是什么？一个严格的 3B 模型是否真的能达到与顶级 LLM 相当的前沿性能？因此，在本报告中，我们呈现了关于 VibeThinker-3B 的实证观察，以进一步检验复杂可验证推理在 3B 规模上的极限。

为了进一步释放 3B 模型的推理能力，我们系统地升级了基于 VibeThinker-1.5B 中引入的 Spectrum-to-Signal 原则构建的后训练流水线。在 SFT 阶段，我们加强了数据合成、质量过滤和课程学习，使模型首先获得数学、代码、STEM、通用对话和指令跟随方面的广泛覆盖，然后专注于更难的长期推理样本。在 RL 阶段，我们保留了 MGPO [42 (https://arxiv.org/html/2606.16140#bib.bib5)] 的核心思想，同时将训练扩展到多个可验证领域，并采用更稳定的长上下文策略以保留完整的推理轨迹。我们进一步引入了 Long2Short 数学 RL，通过减少冗余 token 而不牺牲准确性来提高推理效率。最后，离线自我蒸馏和指令 RL 将在不同阶段激发的能力整合到一个统一模型中，并提高其在复杂、约束繁多的用户指令下的可控性。与 VibeThinker-1.5B 相比，VibeThinker-3B 不仅代表了参数规模的适度增加，而且是一个更完整的后训练系统，共同解决了能力构建、推理增强、效率优化和指令对齐等问题。

在严格的数据去污染条件下，跨多个独立竞赛系统的广泛评估证实了 VibeThinker-3B 卓越的参数效率，并确保我们的发现并非局限于单一基准。虽然它持续优于现有的小型和中型推理模型，但其最重要的成就是证明了与规模大几个数量级的顶级系统具有竞争力。尽管只有 3B 参数，VibeThinker-3B 在 AIME26 [24 (https://arxiv.org/html/2606.16140#bib.bib51)] 上获得了 94.3 分，与 DeepSeek V3.2 [20 (https://arxiv.org/html/2606.16140#bib.bib26)] (671B) 和 Kimi K2.5 [34 (https://arxiv.org/html/2606.16140#bib.bib27)] (1T) 等大得多的模型表现相当。它还在 HMMT25 [17 (https://arxiv.org/html/2606.16140#bib.bib53)] 上获得 89.3 分，在 LiveCodeBench [19 (https://arxiv.org/html/2606.16140#bib.bib48)] v6 上达到 80.2 的 Pass@1，紧追 GPT-OSS-120B 和 DeepSeek V3.2 的表现。此外，我们采用了声明级可靠性评估（CLR），一种测试时扩展策略，在答案可验证的数学基准上取得了额外收益，将其 AIME26 分数提升至 97.1，HMMT25 提升至 95.4，BruMO25 [8 (https://arxiv.org/html/2606.16140#bib.bib52)] 提升至 99.2。除了标准基准，VibeThinker-3B 还表现出强大的分布外泛化能力，在最近的 LeetCode 周赛和双周赛（2026.04.25–2026.05.31）上达到了 96.1% 的接受率，这一通过率水平可与 GPT-5.2 [27 (https://arxiv.org/html/2606.16140#bib.bib41)] 和 Gemini 3 Flash [14 (https://arxiv.org/html/2606.16140#bib.bib42)] 等业界领先模型相媲美。延续 VibeThinker 系列的技术传承，这些成就表明，严格 3B 参数预算完全足以接近 Gemini 3 Pro、GLM-5 和 Kimi K2.5 等领先推理模型的性能范围，证明了紧凑模型的推理能力边界远超传统预期。

受这些发现启发，我们提出了参数压缩-覆盖假设，该假设认为基础模型能力不仅在所需参数容量上不同，而且在参数需求的结构形式上也有所不同。根据这一观点，它们可以大致分为参数密集能力和参数扩展能力。可验证推理是前者的典型代表：其核心挑战不在于记忆海量的开放领域事实，而在于在结构化的解空间内执行搜索、约束满足、纠错和多步组合。因此，这类能力可以被高度压缩成一个紧凑且可复用的推理核心。相比之下，知识密集型和通用能力更符合后者，因为它们需要对开放领域事实、领域特定概念、语义关联和长尾场景进行广泛覆盖。因此，它们的参数需求更像是一个覆盖问题，而不是可复用推理核心的压缩。这一视角解释了为什么 VibeThinker-3B 在数学和编码等可验证任务上能达到与顶级系统相当的性能，而在 GPQA-Diamond 等知识密集型基准上仍与大型模型存在差距。

虽然参数缩放仍然是广泛模型能力的基本驱动力，但我们提出了推理-知识解耦范式，以揭示较小模型高度专业化的潜力。在该范式下，大规模模型继续作为扩展知识广度的自然载体，因为吸收多样化的语义和长尾分布本质上需要海量的参数容量。相反，只要有结构化的约束空间和可靠的训练信号，较小的模型已经足够封装高密度的推理深度。因此，VibeThinker-3B 的真正意义不在于证明一个 3B 模型可以取代大规模通用模型，而是在于提供具体的实证信号：紧凑模型的发展不再仅仅是部署效率或成本控制的被动妥协；它作为一种有前景的研究方向出现，与传统的参数缩放范式根本上是互补的。

参见图 3 标题：图 3：VibeThinker-3B 的整体训练流水线。

## 2 方法

整体流水线。VibeThinker-3B 是通过分阶段的后训练流水线开发的，该流水线基于 Qwen2.5-Coder-3B base，一个紧凑的 3B 密集基础模型。我们的重点是通过数据合成、面向多样性的监督微调、多领域强化学习、离线自我蒸馏和面向指令的对齐，系统地激发和巩固推理能力。整体后训练框架延续了 VibeThinker-1.5B [42 (https://arxiv.org/html/2606.16140#bib.bib5)] 中引入的 Spectrum-to-Signal 原则（SSP）。基于我们先前工作的核心方法，我们在 SFT 阶段继续采用多样性探索蒸馏来构建广泛的解空间（“Spectrum”），并在 RL 阶段利用最大熵指导的策略优化（MGPO）来放大高价值推理信号（“Signal”）。

对于这个 3B 迭代，我们基于原始基础全面优化了数据构建和整体训练流水线。如图 3 (https://arxiv.org/html/2606.16140#S1.F3) 所示，完整的后训练框架按阶段顺序展开。首先，在监督微调（SFT）阶段，我们升级了严格的数据合成和过滤流水线，从而支持引入两阶段课程学习策略。这使得模型能够从广泛的能力覆盖顺利过渡到深入的长期推理。随后，在强化学习（RL）阶段，我们将 MGPO 应用于利用显著扩展的上下文窗口进行的多领域推理任务；此外，在数学 RL 阶段，我们引入了 Long2Short 阶段，旨在优化推理效率而不损害准确性。核心推理 RL 完成后，流水线立即进入离线自我蒸馏阶段，以回馈新激发的能力，最后以指令 RL 阶段结束，以进一步加强模型对复杂的多步指令的严格遵循。接下来的小节将系统阐述每个阶段的详细实现。

### 2.1 监督微调

#### 2.1.1 数据构建

在 SFT 阶段，我们基于基础模型构建了一个多领域混合监督数据集，为后续的 RL 阶段提供稳定的冷启动策略。该数据集涵盖各种任务，包括数学、代码、STEM 推理、通用对话和指令跟随。

数据合成和查询扩展。VibeThinker-3B 在 SFT 阶段引入了一个自动化的数据合成流水线，以扩大训练查询的覆盖范围。我们只选择来自现有数据集的具有可靠监督信号的查询作为种子查询：数学查询必须具有明确可信的最终答案或求解理由，而竞争性编程查询必须配备可靠的单元测试或可执行的评估规则。基于这些高置信度的种子样本，我们在多个维度上重写和扩展查询，例如概念组合、问题求解骨架、约束条件和评估目标，从而产生包含更广泛知识配置和推理模式的派生查询。对于最初过滤后的合成查询，我们进一步使用强教师模型进行多次独立采样，并通过多数投票生成伪标签，为后续蒸馏和训练奠定基础。

多路径推理蒸馏。对于数学、代码和 STEM 中推理密集的样本，我们采用多路径蒸馏方法来构建 SFT 响应。具体来说，我们使用强教师模型为每个查询采样多个候选推理轨迹，保留完整的中间推理步骤，而不是仅保留单个标准解法。这种设计继承了 VibeThinker-1.5B 的 Spectrum-to-Signal 范式，即 SFT 阶段的任务是构建一个涵盖多样化有效方法的解法光谱，为后续 RL 提供更广泛的候选解空间。通过显式保留这种多解法结构，模型学习了各种分解方法、推导路径和验证策略，从而提高了后续在线策略采样期间的探索多样性。

多层质量控制。SFT 数据的质量直接决定了后续 RL 的性能上限。因此，我们实施了更严格的多层质量控制流程：

- 1) 基于 N-gram 的过滤。我们丢弃包含异常重复片段、模板化退化模式或与评估集存在 n-gram 重叠的样本，以去除低质量生成和基准污染。
- 2) 基于 LLM 的查询质量过滤。我们利用能力强的 LLM 评估查询质量，过滤掉描述不完整、条件不合理、逻辑无效或无法有效评估目标知识点的样本。
- 3) 轨迹正确性过滤。在蒸馏响应层面，我们通过答案验证、代码沙箱执行和 LLM 多数投票的组合来筛选推理轨迹。过滤掉最终答案错误、执行结果失败或推理步骤明显无效的轨迹。

经过质量控制的数据随后根据推理链长度和问题难度进行分层，以支持课程学习策略。