@rasbt: 疯狂模型！它实际上使用了旧的Qwen2.5-Coder-3B栈，并通过后训练取得了非常出色的性能……

疯狂的模型！它实际上使用了旧的 Qwen2.5-Coder-3B 架构，并通过它们的后训练流程取得了非常出色的性能。接下来几天需要实际用一下，看看 VibeCoder 的体验在实践里是否真的成立。但第一印象令人印象深刻！

根据技术报告，它们的后训练流程中一些重要环节包括：

1. 高信号合成数据（有可靠解答的数学问题、附测试的代码）

2. 每个答案的多种推理路径

3. 过滤、过滤、再过滤

4. 两阶段 SFT（先进行广泛训练，再在困难的长推理样本上训练）

5. 基于目标（pass@k）准确率而非验证损失来选择检查点

6. 用于 RLVR 的 MGPO（最大熵引导策略优化）：基本是 GRPO 风格的 RL 方法，但额外加权，倾向于当前策略既不太容易也不太难的样本

7. 单次 64k 长上下文 RL（他们发现常规的渐进式上下文扩展会损害该模型，因为早期截断破坏了长思考行为）

8. 训练数据顺序：他们按照数学 RL、代码 RL、STEM RL 的顺序进行，发现这种顺序对整体效果有帮助

9. 优化准确率后，他们会增加一个阶段，奖励更短的正确答案轨迹；基本上让模型在准确率不下降的情况下更高效

orcus108 (@orcus108)： AI 界到底发生了什么？

一个 3B 参数模型居然在编程基准测试中与 Claude Opus 4.5 达到了同一水准。

30 亿参数。

权重已发布在 Hugging Face，任何人都可以测试。

我真的不知道这是突破，还是基准测试出了问题。