论文页面 - PRM-as-a-Judge 1.5：机器人过程评估工具包

来源：https://huggingface.co/papers/2608.14284 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

PRM-as-a-Judge 1.5 提供了细粒度的过程指标与可靠性工具，用于超越二元成功率对具身机器人模型进行评估。

细粒度的机器人评估对于理解具身模型至关重要（https://huggingface.co/papers?q=embodied%20models），能够超越二元成功率和基于规则的过程评分。我们推出了 PRM-as-a-Judge 1.5，这是一个机器人过程评估工具包，它能将过程执行视频（https://huggingface.co/papers?q=rollout%20videos）转化为密集的进度曲线（https://huggingface.co/papers?q=progress%20curves），并据此推导出多种细粒度指标。PRM-as-a-Judge 1.5 在 1.0 版本的基础上引入了三个新指标，分别表征失败侧进展（https://huggingface.co/papers?q=failure-side%20progress）、回撤后恢复（https://huggingface.co/papers?q=post-drawdown%20recovery）和成功侧执行质量（https://huggingface.co/papers?q=execution%20quality），以帮助用户深入理解具身模型的能力。基于基准测试中的过程执行视频（https://huggingface.co/papers?q=rollout%20videos），我们对具身模型（https://huggingface.co/papers?q=embodied%20models）进行了全面评估，提供了一些细粒度指标结果和关键发现。我们进一步引入了 RoboPulse++（https://huggingface.co/papers?q=RoboPulse%2B%2B）来评估过程奖励模型（PRM）的可靠性，为评估者提供一个更准确的测试平台。此外，我们发布了一套用户友好的评估套件，包括基准测试、指标实现和可视化工具，以支持可复现的操作过程评估。我们呼吁社区重新思考机器人的评估方式，并建立透明、基于过程且可复现的评估体系，以此作为下一代具身智能的基础。

查看 arXiv 页面 (https://arxiv.org/abs/2608.14284)查看 PDF (https://arxiv.org/pdf/2608.14284)项目页面 (https://prm-as-a-judge.github.io/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.14284)

通过您的智能体获取此论文：

hf papers read 2608.14284

尚未安装最新的命令行工具？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

无模型链接本文

在模型的 README.md 中引用 arxiv.org/abs/2608.14284 以从本页面链接。

引用本文的数据集0

无数据集链接本文

在数据集的 README.md 中引用 arxiv.org/abs/2608.14284 以从本页面链接。

引用本文的 Spaces0

无 Space 链接本文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.14284 以从本页面链接。

包含本文的收藏0

无收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接。