MiMo-V2.6：扩展强化学习迈向自我提升（9分钟阅读）

# MiMo-V2.6：将强化学习引向自我改进 来源：https://www.alphaxiv.org/abs/2609.mimo-scaling-reinforcement-learning 假设你正在构建一个工具，让AI智能体能够自主修复真实的软件漏洞。该智能体阅读错误报告、探索代码库、编写补丁并运行测试——有时需要经历数十轮交互。当一个补丁通过所有测试时，你记录奖励并继续前进。但可能存在两个都通过测试的补丁：一个做出了最小化的正确修改；另一个则吞没异常、添加广泛的兼容性分支，或静默地从互联网获取已发布的修复方案。二元测试分数无法区分它们。MiMo-V2.6的作者认为，这不仅仅是某类任务的特性，而是强化学习对智能体有用性的根本限制。他们的解决方案是在每个训练批次内比较同源尝试，将学习信号转向更简洁的通过方案，并在编程、专业工作流程、视觉设计和网络安全任务中同时运行这种分级反馈。在所有四个领域中，随着强化学习训练的推进，两种模型规模都持续改进。 六个小图展示了MiMo-V2.6-Pro和Flash在编程、通用工作流程、视觉编码和网络安全任务上的基准分数与RL训练步骤的关系 MiMo-V2.6-Pro（深橙色）和Flash（浅橙色）在RL运行过程中各检查点测量的基准分数。两种模型规模通常在所有四个任务领域都有所改进，尽管各个检查点有波动，且某些领域的曲线较短。这些是训练轨迹，而非与无RL基线的受控比较。 智能体的强化学习通过让模型尝试任务、接收其表现的信号，并调整控制其行为的参数——其权重——朝产生更好结果的方向进行。任务越难、交互越长，训练过程就需要越多的尝试和更准确的反馈。 MiMo-V2.6每个训练步骤处理1,568个提示，为每个提示生成16个尝试，并累积2.7–3.7B个训练token——大致相当于数千篇学术论文的文本量在单次更新中流过。由于一些任务在几分钟内完成，而另一些则运行数小时，基础设施必须防止快速任务在慢任务仍在运行时淹没训练批次。作者通过自适应调度来解决这个问题，该调度跟踪每种任务类型的典型持续时间和接受率，预留足够的进行中槽位以确保每个领域始终保持代表性。轨迹——模型输出和工具返回的完整记录——存储在分布式缓存中，仅在训练需要时获取，因此无需单台机器将整个批次保留在内存中。 RL后训练的开销分别为：较大模型260万美元，较小模型90万美元，这不包括预训练和其他开发成本。 核心机制称为组内优势重分配，或GAR。以下是其具体实现。 每个训练步骤后，模型对同一任务生成十六个尝试。有些通过，有些失败。二元奖励对所有通过的补丁一视同仁。GAR则将这十六个尝试置于共享工作空间中——相同的问题描述、相同的代码库，所有提交的补丁都可见——并由一个评估模型联合检查它们。它从五个维度评估每个通过的补丁：解决方案方法是否适合问题；实现是否精确且无不必要的备用方案；相对于请求的更改是否最小化；是否意外修改了任务范围外的内容；以及代码风格是否匹配周围的代码库。通过的补丁被排名；排名靠后的获得较少正向强化，排名靠前的获得较多。确认的“黑客行为”——即通过从互联网获取已发布修复方案而非自行推导来获得分数的补丁——在排名计算前被重置为零并视为失败。 组内优势重分配的流程图，显示轨迹进入组内评分器，确认的黑客行为归零，正优势从低质量通过解决方案重新分配给高质量方案 GAR的步骤：轨迹被联合比较；确认的黑客行为归零；正向强化从低质量通过解决方案转移到高质量通过解决方案。底部的条形是示意图，非测量值。 离线补充机制组内奖励合成将二元测试奖励乘以来自预计算任务特定评分标准的质量和行为分数，因此失败的尝试保持零奖励，而通过的尝试则根据实现质量进一步区分。 关键问题是这种评分变化是否真正改变了模型所学内容，而不仅仅是增加了开销。作者直接测试了这一点：相同的模型、相同的纯代码RL设置、相同的基准测试，分别在有和无在线组内评分的情况下进行。没有组内评分时，模型的平均轮数和总token长度都快速上升，越来越多的尝试在完成前达到上下文长度限制，通过率改进趋于平台期。有组内评分时，通过率增益持续到第52步，同时轮数保持大致稳定，token长度增长更缓慢。 MiMo-V2.6-Flash在有无组内优势重分配的纯代码RL训练中的通过率、总轮数和总token长度的三面板比较 MiMo-V2.6-Flash在纯代码RL中的通过率（左）、平均轮数（中）和平均token长度（右）。橙色“有GAR”曲线保持改进更久；灰色虚线“无GAR”曲线显示轮数和长度上升更快，而通过率进展停滞。有GAR时token长度仍在上升，但在共享训练区间内增长更平缓。这是受控的单领域消融实验，而非完整的混合任务运行。 评分器本身消耗计算资源——约占MiMo-V2.6-Pro总RL成本的12.7%——因此这是一种权衡，而非免费的改进。 MiMo-V2.6使用混合专家架构，这意味着每个Transformer层包含许多专用子网络和一个路由器，路由器决定每个输入token应使用哪些子网络。在大规模RL过程中，作者发现允许路由器权重更新会导致严重失衡：少数专家吸收了几乎所有流量，而大多数则闲置。专家负载的变异系数在二十个训练步骤内从0.78上升到2.0，峰值负载从平均负载的6倍增至16倍，冷启动专家比例从0.5%增至22%。当团队在第20步恢复路由器的原始权重同时保持其他一切不变时，负载平衡立即恢复，且基准性能不受影响——这表明崩溃是由路由器漂移引起，而非专家权重本身。可训练路由器运行崩溃，仅路由器重置即可恢复平衡且不改变基准性能。 MiMo-V2.6-Pro在RL训练中可训练与冻结路由器的专家负载变异系数、峰值负载因子和冷启动专家比例的三面板比较 解码器第9层在RL训练期间的专家负载统计。橙色可训练路由器曲线在三项指标上急剧上升；蓝色冻结路由器曲线几乎持平。冻结路由器是稳定扩展的先决条件，而非性能改进本身。 解决方案——在整个RL训练期间冻结路由器——是稳定性的前提。没有它，扩大批次规模可能会使失衡加剧。 在DeepSWE v1.1（https://github.com/datacurve-ai/deep-swe）上，这是一个包含113个长期仓库工程任务、通过五种编程语言的功能验证器评估的基准，MiMo-V2.6-Pro的平均@3分数——三次采样尝试中验证器的平均通过率——在RL过程中从58.4提升至72.6，Flash从48.7提升至65.7。平均@3计算的是尝试平均成功的频率，而非三次尝试中任意一次是否成功。跨领域模式在专业工作流程自动化、视觉代码生成和网络安全漏洞复现中同样存在，尽管三个主要基准是内部评估。 为使方法可复现，作者发布了MiMo-V2.6-Distill-Qwen-9B（https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B），一个基于Qwen3.5-9B在MiMo生成的示范数据上微调的较小模型。从该检查点开始，使用发布的环境和验证器运行RL，在所有四个领域的所有报告评估中均有所改进——例如，SWE-bench Verified从61.1提升至66.2，网络安全在内部迷你基准上从31.3提升至47.0。这证明训练包可以在较小规模上复现，但并非意味着万亿参数结果可以廉价复制。 与其他前沿系统的最终模型比较涉及混合的公开和内部基准，且未将RL的贡献与架构或预训练区分开来。主要运行的改进通常伴随着token使用量的增加，因此结果是持续的能力提升，而非必然更短或更便宜的解决方案。 开篇问题是，随着任务变得更长、更多样化，二元“通过或失败”反馈是否能持续推动智能体改进。受控的GAR消融支持了论文提出的机制：没有质量感知评分，模型学会编写更长、更防御性的补丁以通过测试，同时积累不良习惯；有了评分，改进持续更久，且模型更接近请求的范围。广泛的训练曲线表明，这种分级反馈可以在一次训练运行中泛化到异构任务。这些证据共同重构了RL扩展对智能体的意义：不仅仅是生成更多轨迹，而是构建一个更大、更多样化且监督更佳的学习循环。