AdaPRA:面向数据科学的自适应评分标准过程奖励代理

Hugging Face Daily Papers 论文

摘要

AdaPRA 引入了一个持久化的编码代理框架,采用自适应评分标准引导的过程监督,在多次尝试之间累积知识,将 80B Qwen 模型在 DSPredict-Easy 排行榜上的百分位提升 24.5 点,在 DSPredict-Hard 上提升 14.8 点,同时减少了数据科学代理中的过程错误。

数据科学代理可以端到端地自动化机器学习工作流,但在人类排行榜上仍远未具备竞争力。代理会产生过程性错误,例如探索不充分、验证不可靠、代码缺陷,以及对固定预算的不当使用(在每次尝试中重复运行相同的探索性数据分析和基线模型)。我们提出 AdaPRA 来解决这些问题:这是一个持久化的编码代理框架,能够在同一任务的多次尝试之间累积知识,并通过评分标准引导的过程监督来识别和纠正错误。我们的过程奖励代理通过执行检查来审计代理的轨迹和工作空间,并针对每个任务自适应调整其评分标准。我们发现,从较简单任务中提炼的评分标准可以泛化到更困难的任务,而评分标准的进一步自适应调整还能带来额外的性能提升。在每个任务尝试五次的设定下,AdaPRA 将 80B Qwen 模型在 DSPredict-Easy 排行榜上的百分位提升 24.5 点,在 DSPredict-Hard 上提升 14.8 点,同时显著减少了过程错误。我们还展示了从一个基础模型的运行轨迹中挖掘出的评分标准进行监督,能够提升另一个模型(DeepSeek-V3.2)的性能,并且 AdaPRA 优于面向数据科学的有竞争力的 PRM 方法 DataPRM。我们同时公开了代码以供复现。
查看原文
查看缓存全文

缓存时间: 2026/10/29 01:32

论文页面 - AdaPRA:具有自适应评分标准的过程奖励智能体用于数据科学

来源:https://huggingface.co/papers/2610.33245

摘要

AdaPRA 通过持久化知识积累和自适应评分标准引导的过程监督来提升数据科学智能体的能力,从而减少错误并提升排行榜成绩。

数据科学智能体(https://huggingface.co/papers?q=Data%20science%20agents)可以自动完成端到端的机器学习工作流(https://huggingface.co/papers?q=machine%20learning%20workflows),但在人类排行榜上仍远未具备竞争力。智能体会犯过程性错误(https://huggingface.co/papers?q=process%20errors),例如探索不足、验证不可靠、代码缺陷,以及未能合理利用有限预算(在每次尝试中重复运行相同的探索性数据分析和基线模型)。我们提出 AdaPRA 来解决这些问题:一个持久化的编码智能体框架,能够在同一任务的多次尝试之间积累知识,并通过评分标准引导的过程监督(https://huggingface.co/papers?q=process%20supervision)来识别和纠正错误。我们的过程奖励智能体(https://huggingface.co/papers?q=process%20reward%20agent)通过执行检查来审计智能体的轨迹和工作空间,并针对每个任务自适应调整其评分标准。我们发现,从较容易任务中提取的评分标准可以泛化到更难的任务,而评分标准自适应(https://huggingface.co/papers?q=rubric%20adaptation)能进一步提升性能。在每个任务五次尝试的设置下,AdaPRA 将一个 80B Qwen 模型在 DSPredict-Easy 上的排行榜百分位(https://huggingface.co/papers?q=leaderboard%20percentile)提升了 24.5 个百分点,在 DSPredict-Hard 上提升了 14.8 个百分点,同时减少了过程性错误(https://huggingface.co/papers?q=process%20errors)。我们还展示了使用从一个基础模型的运行中挖掘出的评分标准进行监督,可以改进另一个模型(DeepSeek-V3.2),并且 AdaPRA 超越了 DataPRM(https://huggingface.co/papers?q=DataPRM)——一个有竞争力的数据科学 PRM。我们同时公开了代码以便复现。

查看 arXiv 页面(https://arxiv.org/abs/2610.33245)查看 PDF(https://arxiv.org/pdf/2610.33245)项目页面(https://atharva-naik.github.io/AdaPRA)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2610.33245)

在你的智能体中获取这篇论文:

hf papers read 2610\.33245

没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.33245,即可从此页面链接该模型。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.33245,即可从此页面链接该数据集。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.33245,即可从此页面链接该 Space。

包含此论文的收藏 0

暂无收藏包含此论文

将此论文添加到收藏(https://huggingface.co/new-collection)即可从此页面链接。

相似文章

AdaPRA:采用自适应评分标准的数据科学过程奖励智能体

arXiv cs.AI

AdaPRA 提出了一种用于数据科学智能体的持久化编码框架与过程奖励智能体(PRA),通过自适应评分标准检测并纠正过程错误,使 80B Qwen 模型在 DSPredict 基准上的排名百分位分别提升了 24.5(简单)和 14.8(困难)个百分点。

ARBOR:通过可复用评分缓存为搜索代理提供在线过程奖励

arXiv cs.CL

ARBOR 引入了一种可复用的评分缓存,为基于LLM的搜索代理提供在线过程奖励,在仅依赖结果奖励不足时提升训练效率。它在多跳问答基准测试中优于 GRPO 和 DAPO,将多达42%的零梯度训练组转化为信息丰富的训练组。

Prime Agent: 一个自我改进的RLM框架

Hugging Face Daily Papers

Prime Agent 是一个开源框架,它使用递归子代理和持久化计算来扩展语言模型在编码和推理任务中的长期能力,显著提高了在ARC-AGI-3等基准测试上的性能。

PRO-CUA:面向计算机使用代理的过程奖励优化

arXiv cs.AI

本文介绍了PRO-CUA,一种使用迭代步骤级强化学习训练计算机使用代理(CUA)的过程奖励优化框架。该方法将同策略环境交互与策略优化解耦,实现了密集的信用分配,无需依赖专家轨迹,并在实时网络基准测试中展示了有效性。