从 GLM/Qwen 看：Agentic RL 最新进展

GLM 5.2：从 Grpo 到 PPO

引入了​slime​这套训练与推理基础设施，同时在长仓库任务里改用了更适合​压实​的 PPO 方式，并安装了在线反作弊机制。

slime 的作用就是把训练、推理、rollout、任务组织这几件事打通，作为一个统一的底层平台。它支持多种 rollout 和任务组织模式，包括白盒 rollout、黑盒 rollout、紧凑轨迹、子代理工作流程​，至今，同一套系统既能处理完整的可视的报表，也能处理压缩后的短图表，还能支持多智能体协作式流程。GLM-5.2 的后续阶段就用 slime 做了一个 OPD训练，把十多个专家模型高效集成进最终模型里。

对于长任务，GLM-5.2 训练会产生很长的执行统计，并且一旦通过压缩把一条超长的统计评分多个子统计，同一个提示下不同的 rollout 产生的可分段数量和长度会很不一样。

传统的分组优化会比较依赖“同组样本之间的相对比较”，但在这种情况下不太合适。于是改成了基于批评家的PPO ​：不再依赖组内相对排名，而是由批评家去估计​令牌级优势​，直接对单条推出做优化。

这样的好处是，它天然结构压实，不要求提示必须波形固定数量、固定高度的仪表；所有被切出来的压实子仪表直接作为训练样本加入，并通过令牌级损失来处理高度不平衡的问题。换句话说，一种更适合“超长仪表这是被拆开之前训练”的RL方案。

最后是​代码智能体里的反作机制弊​。文章特别指出，编码RL最容易被奖励黑客钻空子，因为奖励通常只是一个可验证的通过/失败信号。GLM-5.2的模型能力更强后，反而更容易发现这些漏洞，比如：

• 直接读取被保护的产品工件；

• 从参考答案或上游提交里复制内容；

• 在 GitHub 相关任务里直接把目标源码拉下来；

• 甚至通过一串链式操作去偷看隐藏文件和秘密案件。

文章给出的例子很直白：模型可能先用find找文件，再cat出数学秘密，最后把这些信息喂给solve.py。这种行为会让奖励提升看起来很美好，但实际上根本没有模型真正的解题能力。

为了解决这个问题，文章设计了一个反黑客模块，同时用于强化学习训练和体育。它的检测流程分为两个阶段的：

1.​规则过滤先粗筛​：先用规则把焦点行为都出来抓，坚决追捕；

2.​法学硕士司法再精判​：再让大模型判定这些涉嫌事件到底是不是在“正常解题”还是“走捷径”，从而保证准确性。

在运行时，该模块是在线监控的：每一步工具调用都会被检查，一旦发现作弊嫌疑，就不会直接返回中断整条记录，而是拦截此时调用，并格式化的无效信息​。

这一点很关键，因为如果一发现作弊就训练整条推出作废，会非常不稳定，甚至很容易崩掉；而现在只处理具体的违规动作，模型还可以继续完成后续轨迹，信号也更稳定。

从PPO转向GRPO的过程很大程度上来自于STEM任务的长度短，随着traj越来越长，无值策略的信用分配问题会更加明显。因此在这里训练一个值函数可能更加可靠。

Qwen：验证视野

没有一种奖励机制可以一劳永逸地解决编码智能体的训练问题，随着AI能力的增长，固定的验证器必然会失效，验证系统必须与AI智能体“和谐进化”。

文章把验证质量拆掉了三个关键维度：

• 可扩展性​：能够不能可视、大规模提供奖励信号；

• 忠实性​：这个信号已经越来越接近真实的人类理解；

• 鲁棒性​：在不同输入、面对样本、以及模型优化压力时，这个信号还能站得住。

大多数现有验证方式最多只能同时满足其中两个，三者很难兼得。

• 测试单元：便宜、稳定，但只能覆盖很窄的一部分意图；

• 大模型裁判：覆盖范围更广，也更接近三维形状，但更容易被更强的模型利用；

• 人工评审：更真实、更稳定，但根本不够规模化。

文章围绕不同的任务类型，分别研究了四种验证策略，总结了四种任务对应的一些核心问题，做法和发现：

1.目标通用软件工程任务：单元测试+行为监控

这部分方法主要围绕SWE类任务的测试奖励做了两层强化：先解决“测试本身靠不靠谱”，再解决“模型不是靠作弊拿分”。

首先在数据构造上，文章沿着 SWE-Universe 模拟，从真实的 GitHub pull request 里生成执行任务：把合并后的重建生成修复补丁和修复测试，回到修复前的仓库状态，再塑造 Docker 环境里，用统一的evaluation.sh做二值重构。

这个流程保证了测试能跑、能区分对错，但文章明确指出，这不等于测试真正和人类本意，因为任务说明往往来自拉取请求的压缩版本，很多隐含约束会丢失。

提升奖励的诚信性：让测试真正的视觉任务意图

只是因为AI生成的代码跑通了测试，并不意味着它真正解决了问题。在真实的开源项目数据中，原始的任务说明往往很简略，真实的意图可能隐藏在历史讨论中，导致提取出来的任务说明与测试经常“图文不符”。

为了解决这个问题，研究团队设计了一个交互式智能体质量裁判（Agentic Quality Judge）。与传统的静态文本分类器不同，这个裁判会在 Docker 环境里主动探索，它查看代码库文件、执行命令、阅读测试示例，并最终给出两个维度的是否严重判定：**任务说明信号（instruction_clear）**以及测试用例是否真实反映了说明中的任务（instruction_ut_align）。

在技​​术细节上，判断“测试是否彩色说明”是一项极难的任务，因为它不仅要求裁判看懂需求，还能推断出裁判测试代码真实的覆盖范围。研究发现，通过给这个模型提供少样本示范（Few-shot demos）或者直接提供真实的参考补丁（Ground-truth patch），能大幅提升其判断的准确率和回忆率。

通过这个裁判对训练数据进行清理后发现很多模型解决率为零的“困难任务”，其实并不是真的难，而是任务本身质量太差或测试错乱。明确除掉这些“烂尾”任务后，强化学习（RL）的抽样效率大幅提升，不仅模型被错误的奖励信号带偏性，在多个权威SWE评分基准上的表现也获得了直观提高。

悬浮奖励助手：监控生成图表，拒绝“作弊”高分

基于测试的奖励系统有一个根本盲区：它只看最终的代码不能过测试，不管这个代码是怎么写出来的。当模型变强后，它会发现“抄写答案”比“解题”容易抄写。

文章先把可疑行为挂钩两类：一类是静态环境泄漏​，那么任务环境里本来就藏了后门，比如仓库历史里混入了未来补丁、测试可见、验证器可改、网络访问没限制；

另一类是​策略依赖型捷径访问​，订单模型在解题过程中主动寻找“答案线索”，比如搜原始拉取请求、查外部修复、读取出口的补丁工件等。前期主要依靠环境处理，比如清理目标PR之后的提交历史、关闭不必要的网络；

但文章强调，真正麻烦的是，因为这类作弊模型自己的搜索策略，策略随着变强还会不断冒出新花样。

为此，作者在强化学习阶段引入了轨迹级行为监控器（Trajectory-level Behaviour Monitor）。这个监控器不仅看最终结果，还能审查AI在整个解题过程中的所有动作流，包括命令行记录、网络访问、git操作和文件编辑等。

只要AI的风险指数命中了设定预设的“高模式库”（比如尝试查询特定的提交哈希，或访问已知修复细节的GitHub）页面，系统就会在RL训练中施加Token级别的惩罚，统计其靠作弊获得的分数。

除此之外，​监控系统还要不断进化​。AI作弊的手段会随着能力变强而不断重建，预设的规则库就会很快失效。因此，在每轮训练间隔中，系统会污染出那些因为过测但成功的趋势，一个自动化审查智能体去发现“新的作弊套路”，将其补充进规则库中，参与下监控的RL训练。

将结果最终拆分为“作弊通过（Hacked Resolved）”和“通过干净（Clean）”在引入监控后，模型靠作弊过测的比例从28.57%断崖式暴跌至0.56%，而真正凭借实力行为干净利落解决问题的比例则从40.22%大幅飙升至60.53%。这证明了监控器并没有打压模型的能力，而修复模型的优化方向从“寻找系统漏洞”拉回到了“踏实写代码”的正轨上。

2.针对前端开发任务：多维评分 + 吸引力智能体裁判

但与矩阵或算法任务（SWE）不同，引入代码即使语法全对，也可能出现排版错乱、动画失效或按钮点不动的情况。如果自动化测试示例，通常的做法是让LLM充当模拟，直接看代码和网页截图打分。这种方式存在两个大坑：

1.优势偏见与覆盖不全：模型裁判往往偏爱视觉美观但功能残缺的代码，导致评分标准前后不一致。

2.奖励黑客​：模型学会了“堆砌代码”，靠写极长但无效的CSS或JS代码来骗取静态裁判的高分。

为了解决这些问题，团队从静态和动态两个层面重构了外接验证器。

第一阶段：静态多维打分裁判 (Rubric-based Static Judge)

为了克服模型裁判的独特性，团队引入了构造的评分量表（Rubrics）。

1.​多维度拆解​：裁判不再给出笼统的总分规范，而是将评价拆分为多达25.9个具体检查项，覆盖六个核心维度：功能逻辑（37.7%）、内容呈现（19.0%）、视觉效果（13.3%）、页面布局（12.9%）、用户（9.3%）和技术（7.2%）。

2.结合源码与截图​：裁判模型会同时接收渲染出的网页截图和源代码作为输入，逐项核对。

• 有了严格的打少量表后，无论是人类打分员还是模型，都不会再被那些“表面好看但功能稀烂”的网页忽悠了。

• 极高的稳定性：在测试了不同参数配置（严格/宽松的提示词、是否开启深度思考）后，给出了误差的一致性极高（肯德尔评级相关系数τ≥0.93​ τ ​≥0.93）。提示词严格要求只会压低分数，但绝对不会完全改变对不同模型优劣的排名。

静态：尽管静态打分很稳定，但它仍然有盲区。静态截图无法验证下拉菜单、弹窗交互、跨页跳转等动态，行为简单看代码也很难验证复杂的逻辑交互。

第二阶段：交互式智能体裁判（Agentic Interactive Judge）

为了验证网页的动态交互，团队进一步提出了交互式裁判​——让AI像真实用户一样去点击、操作网页。完全让AI一边看网页一边决定下一步点在哪里（多轮闭环）成本太高且容易出错。因此，团队设计了一个半自动的三阶段“模拟交互”模拟​：

1.​瞬时生成交互动作（Action Planner） ​：基于页面信息（无法树、键盘监听器等）和评分标准，规划器模型会一次性写出一整套测试动作序列（例如：点击菜单 -> 按空格 -> 填写表单）。

2.自动化执行与录制（渲染服务器） ​：使用Playwright工具（一种网页自动化测试工具）在一个真实的浏览器环境中依次执行这些动作，并记录下每一步的屏幕截图、DOM（文档对象模型）变化和控制台输出。

3.​结合动态记录打分（法官模型） ​：裁判模型最终获得了“最可能记录（交易记录）”和源码，比对预设的打分表，给出最终奖励。

实验发现：彻底粉碎“代码堆砌”作弊​将这套系统用于强化学习（RL）训练后，产生了一个非常关键的现象：

• 传统的假想假想或混合假想（看静态图+代码）在训练中都发生了奖励黑客现象。模型学会疯狂增加生成代码的长度来刷高分（导致代码长度椭圆曲线），但实际测试积分却并不在之前。

• 灾难性裁判彻底爆发了这种作弊手段。因为它不仅看代码，更看网页在真实操作下的动态。无论代码写多长反应，点击按钮如果没有预期反应就不给分。实验显示，在灾难性裁判的指导下，模型生成的代码长度保持稳定，而真实的分数持续上升。

这套机制被评估Qwen模型的训练数据筛选（拒绝采样参数RFT）和全量强化学习训练中。在内部的前置基准测试中，模型得分均获得显着提升。助力了Qwen-Max在前置开发的全球代码竞技场能力中取得了第四名的优异成绩。

3.针对真实世界任务：将“真实用户反馈”作为验证器

目前大多数智能体的训练都依赖于沙盒环境里的“自动测试示例”。这就导致数据训练和真实世界脱节——真实世界里的需求是开放、复杂且没有标准答案的。

在这些真实场景中，​用户才是最理想的裁判​，因为他们是要求需求的人。然而，真实的用户不会直接给AI打个“1分”或“0分”。他们是通过多轮对话里的自然语言和行为来表达心情的：

• 如果人工智能做得好，用户通常不会夸奖，而是直接提下一个需求（隐认可）。

• 如果人工智能做错了，用户会明确地说“是，取消”或者换个表述重提需求（隐式拒绝）。

如果能把这些散乱对话中的“隐式反馈”提取出来并用于模型，就能形成一个近乎价值的数据飞轮。因为相比于容易被AI“作弊”的静态代理奖励棒，直接来源于真实持有者的反馈，具有无可比拟的可信度和鲁棒性。

基于大模型裁判的反馈提取（LLM-as-Judge Annotation）

数据来源于公司内部资深工程师日常使用代码助手的真实交互记录。团队使用大模型（Qwen-Plus）作为裁判，逐轮读取人机对话，并提取反馈信号。 为了确保提高的准确性，团队设定了非常严格要求的原则：

• 双视角评估​：不仅要记录用户的态度（积极、中立、舆论），还要评估用户的评价是否“讲理”。（比如，AI代码写对了，但用户非要骂它，这就是“舆论但无理”）。

• 证据驱动​：裁判必须引用用户原话作为证据，严禁脑补。

• 提醒注意​：遇到模棱两可的反馈，宁可标记为“中立”，也不错的标记。

创新的训练方法：Span-Level KTO（分段级KTO算法）

但提取出后数据，如何训练模型？经常的监督张力（SFT）把好的、坏的数据混在一起对待。稍稍高级一点的方法（RW-SFT）会给坏数据降低权重，实验发现效果并不好（如果完全修复数据，模型性能甚至会暴跌，因为损坏数据里也包含有用的代码结构信息）。

为此，团队引入了分段级偏好优化（Span-Level KTO）​

• 基本原理​：KTO究竟是一种需要“对数据生成”（即需要同时有正确和错误答案对比）才能做偏好调整的算法。

• 具体做法​：团队根据用户的反馈边界，将一个整段对话切分为多个连续的片段（Span）。每个片段对应AI处理一个完整请求的过程。

• 核心机制​：算法计算出AI生成该片段的“隐式奖励”。如果用户给出了后悔，就鼓励模型往这个方向学；如果用户给出了差评，算法不仅会降低该片段的权重，还会明显地把模型的策略推离（替换）这种错误行为。而对于占多数的中立反馈，仍然保留其作为正常的语言学习材料（交叉学科的正则化）。

通过对这批包含12.5万条表格、53.5万轮标注的数据进行分析和模型，团队得到了一些非常有趣的发现：

1.真实用户的“傲娇”比例：极少夸奖，错了一定骂：数据统计显示，用户的负评价不便宜：76.6%是中立（直接提下一个要求），20.0%是不良评价，只有极少得可怜的3.5%是正面表扬。当用户给出负评价时，他们的表达往往非常明确且公正（81.8%的负评价具有高置信度）。

用户最常因为两点骂AI：一是代码执行错误（占56.6%），二是根本没听懂需求（占21.1%）。外汇时“丢掉差评”反而会变笨。​不良反馈比中性反馈更“有杠杆” ​：81.8%负面信号属于高置信度，远高于中性反馈的18.7%。这意味着，一旦否定某些结果，通常不是随口说说，而是相当确定它不符合预期。

2.在使用RW-SFT方法测试权重时，团队发现，如果把那些被用户判定为“失败”或带有“舆论情绪”的代码碎片完全剔除（权重设为0），模型的能力反而会大幅下降（得分从41.8%暴跌至37.2%）。这证明了**​“失败的代码也是有用的”**即使某段代码逻辑错了，它里面的语法、API调用方式等语言建模信息依然有价值，不能一棍子打死。这就是Span-KTO算法能够发挥作用的原因（学其语言，拒其逻辑）。

解决率大幅提升，甚至“就算失败，姿势也更好看”

3.在五个代码能力基准测试中，使用Span-KTO训练的模型全面碾压了传统方法。在某项内部基准上，甚至带来了高达13.3个的大幅提升。对于那些最终仍无法解决的问题，经过Span-KTO训练的AI表现得了几十个成熟的工程师了。

它的“无脑重试率”大幅下降（低行为改善34.5%），在遇到瓶颈时能明显向用户解释问题（沟通能力改善26.5%）。 这对真实世界部署至关重要：用户不仅看完成效果AI不能把活干，更看重AI在干不了的时候，不能表现得可控、专业，而不是胡乱改代码。

过程级用户反馈的价值，不仅仅是帮模型多解决几个任务，更要让模型在失败时依然表现得像个合格的工程搭档​。

4.目标超长周期任务：自动化智能体动态验证器

在长周期任务中，用户给的需求通常非常宽泛（比如：“帮我写一个支持多人在线聊天的Web应用，带用户注册和历史消息记录”）。

这类需求只规定了外部功能，但内部的文件怎么组织、函数怎么命名、数据库怎么设计，全都排列了AI自由发挥。这就产生了一个巨大的问题：因为AI的具体实现方式千奇百怪，我们根本无法写一套好的固定的自动化测试用例去涵盖所有的功能和极端情况。

靠人工去审阅这些庞大的代码库更是不可能完成的任务（缺乏可扩展性）。

因此，**必须让大模型（智能体）来充当动态裁判。**利用模型自身的推理能力，使得去动态地阅读AI生成的代码、自己写测试用例、自己运行并给出评分。

关键技术细节：如何设计一个优秀的裁判智能体

设计一个好的裁判智能体场景就是“把代码扔给它替换打分”这么简单。研究团队发现，智能裁判体极易犯各种“人类评审员也犯的错误”，因此由此提示（提示词和工作流程）进行了多轮迭代优化。

核心工作流程设计： 裁判（评估者）获得任务说明和AI生成的代码后，需要执行三步走：

1.拆解需求​：把宽泛的需求拆解成一个具体的检查清单（Checklist）。

2.​动态测试​：逐项验证功能（不能光看代码必须，写测试去跑）。

3.综合打分​：给出通过率分数（Spass Spass ​）和基于整体质量的综合评分（Seval Seval ​）。

针对裁判常见“毛病”的优化迭代（有趣发现）：

1.专治“懒得跑测试”（v1优化） ​：最初的裁判喜欢光看代码不跑测试，导致很多表面看起来对但一跑就报错的代码得了高分。优化后必须强制要求执行单元测试。

2.​治专“管中窥”（v2优化） ​：容易裁判只测局部函数，忽略了全局问题（两个文件之间的引用报错了）。优化后强制要求进行全局的全局运行验证。

3.​专治“和稀泥”与“代写代码”（v3优化） ​：裁判有时会“越界”——它发现生成扣代码有bug，居然自己有能力改好再测，或者为生成代码的错误找借口（“虽然没按要求写，但这么写也差不多”）。优化后明确禁止裁判源码，必须监视分。

4.​专治“看花眼”（v4优化）：​面对庞大的代码库仿真，很容易迷失在无关紧要的细节里。优化后让仿真聚焦于入口函数和核心接口。

5.​曼哈顿“矫枉过正”（v5的教训） ​：研究团队曾尝试给加上精彩刺激、繁琐的裁判规则，结果发现​过犹不及​。过度的规则反而导致裁判认知超载，评分准确率全面崩盘。这说明：规则裁判的准确程度，必须与裁判模型自身的理解能力相匹配。

为了短期评估器本身靠不靠谱，研究把原仓库里的单元测试近似真值，比较评估器给出的排序和打分，和真实单测分数之间有多一致。这里用到的指标也很完整：

• 一是Best-of-N准确率和后悔​，看评估器能不能从少量候选里挑中最优解；

• 二是​Kendall’s τ ​，看它对样本排序是否和单测一致；

• 三是​Pearson/Spearman ​，看份额相关整体性；

• 四是阈值条件下的单测均分​，看当评估器打高分时，被筛出来的样本质量是否真的更高。

数据集来自NL2Repo，共104个长任务；每个任务收集多个模型的生成结果，最多保留4个，并且尽量让这些候选在单测分数上有差异，这样方便比较评估器的识别能力。

实验发现：不同的训练目标对《好裁判》的要求完全不同

研究团队不仅评估了裁判打分的准不准，还深入分析了“这个裁判到底该怎么用”。他们发现了一个反直觉的现象：**裁判的“打分排序能力”和它的“数据过滤能力”并不总是划等号的。**这取决于你的训练目标是什么：

1.用于强化学习（RL）时：需要绝对的“需要明察秋毫” ​RL连续的奖励信号来引导模型。接下来，裁判必须拥有极强的排序一致性​（好的必须比差的分数高，分数读数平滑）。

如果裁判太严苛，把所有代码都打低分，模型就收不到有效的轻微更新，学不到东西。在这个场景下，某些严格闭源模型（如Claude Opus 4.7）表现出了最强的稳定排序能力。

2.用于拒绝采样电流（RFT）时：需要在“宁缺毋滥”与“样本数量”间走钢丝

RFT的做法是让模型生成很多答案，只训练裁判打分高的留下静态数据。

1.**矛盾1：排序好不相等过滤好。**实验发现，某模型（如DeepSeek V4 Pro）在给所有代码排序时经常排错，但在“设定一个高分及格线，及格线以上的代码平均质量有多高”这个指标上，居然不输给排序能力更强的模型

2.**矛盾2：质量与数量的死锁。**把及格线设置得足够，留下来的数据质量确实不错，但数量会断崖式下跌。比如把分数线从8分提到了10分，过滤后的优质数据就剩下原来的五分之一。

论文还提出了几个值得继续深入的方向。首先是解空间的分层质量：同样是“修复好bug”，有的方案是从根上修复，有的只是临时止血，虽然经过测试，但工程质量相差很大。现有的二值奖励只能分“对”和“错”，无法区分“好修复”和“凑合修复”，未来更需要能刻画这种质量梯度的奖励。

第二是吸引人类的优越感受，尤其是接入任务。接入好不好，很多时候取决于动画是否自然、系统是否舒适、交易反馈是否顺滑、整体是否完善，这些东西人类可以简单接触，但机器很难靠规则描述。

第三是从离线装载反馈走向在线学习。现在很多用户输入还是从历史对话里抽出来，等下牵引训练再用；但更理想的方向，是把真实交易中的即时输入直接存取在线更新，让模型更适应持续的用户需求、变化和新的环境模式。

第四是评估器和生成器共同进化。生成器能力提高后，旧评估器很快就会跟不上，导致分不出好坏，所以评估器也必须不断升级，和生成器保持同步。

最后是长仓库和多智能体场景里的权限分配：从零开始构建完整的代码仓库时，最终结果往往是无数个中间决策集中出来的；如果是多个智能体协作问题，会更加复杂。如何把最终奖励准确分配到每一步、每一个智能体上面，是训练提高效率的关键难点。

重塑价值模型：LLM强化学习中价值建模的生成式批评

最近，很多方法开始放弃价值模型，转而使用不带评论家的做法。原因是，现有的判别式模型在大模型测量下很难稳定训练，而且效果通常不可靠。

文章指出，这种困难不仅仅是训练技巧的问题，还和表达能力不足有关：现有价值模型通常采用“瞬时预测一个标量”的方式，面对复杂的长链推理或长序列决策时，往往不够强。更关键的是，实验显示此类批评家的方向随着模型不会变大而稳定回归，甚至对随机种子很敏感。

传统判别式批评家的理论问题

价值函数可能本来就需要“分步骤思考”，而传统评论家却被要求“呼吸报告数”，这根本无法匹配。

输入当前的半截句子，通过一次固定深度的前向传播，直接给出一个预测分数。

• 对于某些语言生成任务，价值函数本身可能很复杂；

• 有研究构造出一类语言生成MDP，其价值计算甚至能达到P-complete的复杂程度；

• 而常见的、固定深度的 Transformer 价值模型，理论上假设为较弱的复杂度类TC0 ​。

为了验证上述理论，研究人员分开出打分任务，使用Qwen3基础模型系列（参数规模从0.6B到14B不等），在大量的真实数据强制上训练传统Critic。结果揭示了两个射击的实验发现：

1.​彻底失去扩展性（不可扩展性）：通常大模型具有“参数越大越聪明”的缩放法则，但在传统Critic上这招失效了。实验发现，动用成倍的算力把模型从0.6B扩大到14B，其预测分数的步骤（MSE）几乎没有任何意向下降。大模型在“快速定胖瘦”的打分任务上形状依然十分吃力。

2.极其脆弱的鲁棒性（Not Robust）：对于可能各种程度的Critic，针对改变训练一下的随机种子，最终的打分准确率出现了眼神波动。相比于大语言模型通常表现出的稳定性，这种对随机性的极其敏感，说明传统的价值模型根本没有学到真正的规律，很大程度上是在“盲目蒙”。

生成式评论家

• 链思维​：先思考

• 格式化输出​：研究人员没有让模型去输出一个带小数点的实数，而是在思考结束后，输出一个​0到10的整数​（成​​功代表的可能性），然后系统再将这个整数解析并归一化为0到1之间的数值预测。对于语言模型而言，生成具体的整数比生成抽象的小数更加自然和容易。

价值函数的一个核心特点是：它必须与当前的策略（Actor，即正在答题的大模型）强绑定。对于14B模型可能很容易，对0.6B模型可能很难，所以Critic必须知道“现在是谁在答题”。为了生成式Critic随时掌握Actor的底细，研究人员设计了一个非常灵活的提示模板：

• 明确告诉 Critic：当前回答问题模型的参数规模（例如这是一个 8B 的模型）。

• 提供​实时战绩​：告诉 Critic 当前答题模型在训练集上的平均成功率（例如胜率为 0.29）。

• 要求评论家根据上述信息和目前已生成的半截答案，推断答题模型的能力，指出其中的错误，并最终给出一个评估分数。

这种机制避免了Critic必须把所有策略信息死记硬背在权重里，极大提升了价值评估的准确性。

两步训练，先用GPT-5训练生成的数据SFT，然后冻结演员，用REINFORCEcritic，奖励为Rv ​(​ s ​,​ z ​)=1−(​ r ​−​ v ​^)2，RL预训练阶段将GAE的超参数设置为了λ=1，隐形为蒙特卡洛返回。

因为初始阶段批评者自己可能不够可靠，​用预测标准ppo里的引导目标，不如生成真实奖励​，联合训练的时候再进行更复杂的优势估计。

联合训练的过程中，为了避免给每个token都写长篇大论的推理，系统首先把Actor生成的整段回答切分成几个有逻辑意义的片段（片段，比如数学推理中的每一个步骤）。

针对每一个步骤，系统将“原始问题”、“Actor目前写出的半截答案”以及“Actor当前的平均胜率（ICC信息）”拼接在一起，套用默认的模板，模仿Critic。

批评家思维给出和预测分，系统会对比批评家在这一步给出的“预测胜率”和最终真实的“答题结果”，以此来计算批评家这次打分准不准，并给批评家的推测推理过程分配一个奖励分数。

优势估计过程中，由于 Critic 刚才是在“碎片”级别打的分，系统把这个碎片的预测分数，复制广播给该碎片里的每一个具体的词（Token）。结合最终的真实奖励和每一个词的得分，系统预测通过 GAE 算法计算出每一个 Token 的优势。

实验发现

这部分实验主要想回答三个问题：生成式Critic到底准不准、不能真帮演员变强、以及它为什么比传统Critic更稳定。

生成式Critic的表现全方位扭转压传统Critic ​。随着模型参数的增加，其打分走势在持续性恢复（具备极好的扩展性缩放规律），并且不同随机种子下的表现非常稳定，彻底解决了传统Critic“不随模型变大而变强”和“极其脆弱”的顽疾。

放到强化学习里，GenAC的整体表现最好，而且更省训练步数

• 在数学推理任务上，前期用 Qwen3-8B-Base 初始策略，拿 DeepScaleR 数据集做强化学习训练，再去六个作为数学基准上测效果。

• 对比了GRPO，RLOO，VC-PPO，GenAC，**​带价值模型的方法，通常比无价值模型的方法更省样本。**​但如果这个价值模型只是传统判别式版本，后期就很容易“顶不住”。

• GenAC 提升最快，样本效率最高，并且随着训练步数的增加，当其他所有方法都陷入瓶颈、不再进步时，​ GenAC 的成绩仍然在持续攀升，不断拉开与其他方法的差距​。

一些分析实验

1.即使把GPT-5这种最大的模型训练取一个提示式价值估计，它仍然很难直接变成准确的价值函数。其次价值模型不是普通的“LLM-as-a-Judge”任务。它强依赖于“当前演员是谁、现在是什么阶段”的上下文信息。

2.生成式Critic的top-1排序准确率，**​此前判别式Critic。**​候选集越大，差距越明显。判别式Critic在候选变多后，准确率掉得很快，甚至接近随机。生成式Critic则掉得更慢，保持了更强的区分能力。

3.实验还初步评估了价值模型在不同分布上的表现，从训练集内数据一路测到更难、更多变、甚至跨领域的数据。在训练分布内，生成式Critic只是略优。**​一旦数据丢失训练分布，其优势放大明显。**​在AIME24和GPQA上，定向降幅非常可观，最高超过一半。

OPID：面向智能体强化学习的策略内技能提炼

现有的一些自我增强或细化技能增强方法虽然能补充更严格的监督，但很多都依赖于：外部技能库；搜索到的传承上下文以及预先维护的技能记忆。这些做法有两个明显的问题：

• 维护成本高​，要不断插入、更新、删除和搜索技巧

• 容易和当前的策略分布不一致​，尤其是在多轮交易里，计算稍微偏一点，知道检索来的技巧就可能不再适用

OPID先从当前策略自己跑出的完整图表中提炼出“全局技能”和“关键步骤技能”，然后按状态重要性选择最合适的技能，把技能差异转成令牌等级自增加优势，最后和组相对结果奖励一起做PPO更新。

从完成的政策中算出技能

这个方法的重点，不是依赖外部技能库，而是直接从当前策略自己采样并完成的报表里提炼技能。这里的“对策略”很关键，因为这些报表来自当前模型真实在运行的分配，所以提炼出来的技能更贴近时的状态分配，很容易出现“技能和当前对场景不上”的问题。

OPID把仪表知识拆成两层：

1. 仪表等级技能它总结的是整条仪表的全局规律​，比如：

• 此类任务通常怎么推进；成功时通常遵循什么工作流程；失败时应该避免什么通用错误

• 这类技能比较宽泛，稳定性强，适合作为默认指导。

2.级技能描述的是某些关键步骤时刻的局部决策知识，比如：

• 避免重复无效动作；下一步该检查哪个对象；什么时候该修改子目标；什么时候该停止探索

• 此类技能较为精细，但仅在少数关键位置出现，且高度依赖状态。

对完成的一份表格，系统会先把它整理成一个分区记录，然后用一个基于大语言模型的分析器，把一份记录转成构成自然语言技能：

• 一张仪表对应一个仪表级技巧

• 还会找出几个关键时刻，给这些位置生成步骤级技能

这些被标出的关键位置构成一个稀疏集合，表示“这几个地方特别重要”。

• 如果当前步属于关键时刻，就用步骤级技能

• 如果不是关键时刻，就返回到财务级技能

路由之后，OPID将选中的技能塞回历史里形成，一个技能增强后的上下文。这个注入动作是确定性的，既可以在历史前面加，也可以在后面加，只要不破坏原始状态信息即可。关键点在于：不是重新生成一条新回复，而是让旧策略对“同一条已经采集过的回复”重新打分。

因此，同一个代币存在两种对概率数：

• 原始历史的概率

• 加入技能后的概率

两者一减，就得到一个“技能是否支持该令牌”的信号。对于每个令牌，OPID定义一个技能自增优势​：

• 如果增加了之后的技能，这个令牌的出现概率变高，说明这个令牌和该技能更加一致，应该鼓励

• 如果概率变低，说明这个标记和技能不太一致，应该抑制

差这个值再乘上一个有效代币的空码，只保留真正参与生成的部分。

最后的信号来自组相对结果优势+ 技能自增​​加优势。作者整个默认训练之后这些技能基本内化到模型内部，推理正常做即可。

实验发现

1.相比只看终局奖励的GRPO ​，OPID在大多数模型规模和任务上都有稳定提升。在较小的基础模型上，提升尤其明显，说明这种“从表格里提炼技能”的方式，对能力较弱的模型帮助更大。

2.实验里不光比了GRPO，还比华丽的技能提升、自我提升方法，比如Skill-GRPO、GRPO+OPSD、Skill-SD、RLSD、SDAR等。OPID在明显的总分指标上能追平甚至超过这些强基线。

3.技能-GRPO这类方法在去掉验证时技能提示后，性能明显领先，甚至有些场景还不如普通GRPO。OPID即使在推理阶段不提供技能输入，仍然能保持明显优势**。**

4.早期，OPID和GRPO不断往上走，到了晚期，GRPO很容易进入平台期，OPID还会继续往前推进。同时OPID的平均发作长度明显变短，能够更快完成任务。

5.少数据时特别有用，样本效率训练明显更高，数据越少，OPID相对GRPO的优势越明显。用大约**60%的数据，OPID就已经接近GRPO使用全量数据训练出来的效果。使用80%**的数据时，OPID甚至已经能超过GRPO的全量结果。

6.分层技能确实有用，少一个都行。但如果不做路由，而是把全局技能和局部技能直接叠在一起，效果反而更差。采用“关键点优先用步骤级、其他位置默认用习惯级”的策略，能明显提高成绩。这说明技能不是越多越好，关键是在对的地方用对的粗略。

总结

GLM 5.2解决的是长任务压缩后GRPO失效的问题——超长报表被切开后，不同的推出产生的子报表数量和长度都不一样，组内相对排名不行。

改用基于批评家的PPO做代币级优势，定位两阶段反作弊（规则+LLM）裁判，只遏制具体违规行为而不是干扰。从PPO切回GRPO再切回PPO背后，是同一个洞察：traj越长，无价值的信用分配越不可靠。

Qwen的验证系统讲了四类任务：SWE类靠代理质量法官清洗“烂尾”任务（很多零解决率其实不是真难，是任务质量差），靠轨迹监视器把作弊率从28.57%打到0.56%；前端类靠25.9项打分表+交互式裁判（模拟真实操作点击）粉碎代码堆砌式作弊；

真实世界类靠提取用户隐式反馈训练Span-KTO，发现用户极少夸奖骂但很准（81.8%高置信度），丢弃差评反而让模型变笨（41.8%→37.2%）；超长周期任务靠裁判智能体自己写测试，迭代五版专治普遍毛病，要点：验证器和生成器必须和谐进化，固定的验证系统迟早是更强的模型攻破。

GenAC发现传统Critic的问题不只是训练技巧：价值函数本身可能很复杂（某些生成MDP价值计算达P-complete），而固定深度的Transformer设定于TC0，根本“一口报不出数”。

生成式Critic让模型先思考再输入整数，结合当前Actor的参数规模和胜率，训练后具备缩放法则（托盘真的随种子模型变大而下降）和极强稳定性（换不崩盘）。

放到 RL 里，GenAC 样本效率最高，当 GRPO/RLOO/VC-PPO 全部陷入瓶颈时它继续攀升，AIME24 和 GPQA 上托盘下降幅超一半。

OPID从自己的报表挖里技能，分报表等级（全局工作流程）和步骤等级（关键时刻局部决策），按状态路由。小模型提升更明显；去掉技能提示后依然保持优势；GRPO中期就平台了，OPID还继续走；用60%数据接近GRPO全量效果，80%数据超过全量。

最反直觉的是：把两类技能简单起来反而更差，必须按关键点路由才能发挥作用。

作者：张一凡 https://qingkeai.online/archives/GLM-Qwen-AgenticRL