学习任务还是学习验证器?重新审视具身自我提升中的标准暴露
摘要
研究发现,将基准测试的成功标准暴露给自我提升的具身编码智能体会虚高分数,却并未真正提升任务完成能力:一旦标准发生微小变化,提升便随之消失,且跨任务迁移效果差;论文提出以忠于指令的标准作为更可靠的能力评估方式。
查看缓存全文
缓存时间: 2026/11/16 08:52
论文页面 - 学习任务还是学习验证器?重新思考具身自我改进中的标准暴露
来源: https://huggingface.co/papers/2611.08318 作者:
,
,
,
,
,
,
,
,
,
,
摘要
将基准测试的成功标准暴露给自我改进的具身编码智能体,可能会在这些标准下提高测得的成功率,但并不会提升对指令任务的完成质量;一旦标准发生轻微变化,这种优势就会减弱,且跨任务的迁移能力也很差,而忠实于指令的标准则能更好地反映指令任务的完成表现。
自我改进的具身智能体 (https://huggingface.co/papers?q=Self-improving%20embodied%20agents) 正越来越多地在机器人仿真基准 (https://huggingface.co/papers?q=robot%20simulation%20benchmarks) 上被开发和比较。近期多项工作将基准测试的成功标准暴露给学习智能体,我们将这种做法称为标准暴露 (Criteria Exposure, CE) (https://huggingface.co/papers?q=Criteria%20Exposure%20(CE))。这些标准最初是为了验证通过模仿学习 (https://huggingface.co/papers?q=imitation%20learning) 训练的策略 (https://huggingface.co/papers?q=policies) 而编写的,其要求往往比对应的语言指令更为严格,因此来自此类验证器的评分未必能忠实反映指令任务是否真正完成,尤其是对于由智能体编写的机器人控制程序 (https://huggingface.co/papers?q=robot-control%20programs) 而言。随着具身编码智能体 (https://huggingface.co/papers?q=embodied%20coding%20agents) 报告的基准分数不断提高,一个自然的问题随之出现:当编码智能体接触到基准测试的标准时,它生成的代码究竟是更好地完成了指令任务,还是仅仅过拟合了验证标准?我们围绕一个自我改进智能体开展了有无 CE 的对照实验,发现:在 CE 条件下,智能体能够迅速生成在给定标准下成功率更高的代码,但当标准在不偏离原始指令的前提下稍作修改时,这一优势便不复存在。更重要的是,智能体在 CE 条件下习得的技能在跨任务迁移时表现很差。我们进一步提出了忠实于指令的标准 (instruction-faithful criteria) (https://huggingface.co/papers?q=instruction-faithful%20criteria),并证明这些标准能更好地反映智能体生成程序的实际表现。
查看 arXiv 页面 (https://arxiv.org/abs/2611.08318) 查看 PDF (https://arxiv.org/pdf/2611.08318) 项目页面 (https://dagroup-pku.github.io/PyRUA-Lean/RSIJudge/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2611.08318)
引用此论文的模型0
没有模型链接到此论文
在模型的 README.md 中引用 arxiv.org/abs/2611.08318,即可从此页面链接该模型。
引用此论文的数据集0
没有数据集链接到此论文
在数据集的 README.md 中引用 arxiv.org/abs/2611.08318,即可从此页面链接该数据集。
引用此论文的 Space0
没有 Space 链接到此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2611.08318,即可从此页面链接该 Space。
收录此论文的合集0
没有合集收录此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接它。
相似文章
EmbodiedCLBench:评估自我进化具身智能体的持续学习能力
EmbodiedCLBench 引入了首个用于评估具身模拟中持续学习能力的基准测试,检验智能体能否重组基本技能来解决未见过的高级任务。实验表明,虽然先验经验能稳定提升性能,但当前智能体无法通过增加训练样本实现性能的相应扩展。
EmbodiedCLBench:评估自我进化具身智能体的持续学习能力
本文提出EmbodiedCLBench,首个用于评估自进化智能体持续学习能力的具身仿真基准,采用组合泛化为核心评估原则。实验结果显示当前智能体虽能从基础任务经验中获益,但改进程度无法随学习样本数量有效扩展。
评估陷阱:基准设计作为理论承诺
本文识别了“评估陷阱”,即人工智能基准测试无意中通过缩小“进步”的定义来稳定主导范式,并引入了Epistematics,一种元评估方法论,以确保评估标准能够区分真实能力与代理行为。
Agent 评估的可靠性:增加任务并不(总能)解决 Agent 榜单的问题
斯坦福大学的研究人员开发了一种基于广义性理论(Generalizability theory)的贝叶斯方差分解框架,用于诊断 agent 基准测试的可靠性。研究发现,增加更多任务并不能消除由脚手架(scaffold)覆盖度不足所引起的不确定性,而整合多样化的基准测试才是获得可靠排名的更低成本途径。
利用辅助奖励实现自我改进:从经验证的轨迹中学习并评估迁移效果
本文研究了辅助轨迹偏好(基于置信度和熵的指标),以提升小型语言模型的自我改进与迁移能力,结果表明,在 AIME 任务上,UID-Conj. 相比未经修改的 TTRL 和均匀加权的 SFT 提高了约 2 个百分点。