论文页面 - HSPR：通过层级后验推断恢复软件智能体基准分数

来源：https://huggingface.co/papers/2610.24611

摘要

层级分数后验恢复（Hierarchical Score Posterior Recovery）通过结合历史响应模式与自适应任务选择，从小子集中估计完整的基准分数，从而提升智能体评估效率。

在完整基准上评估软件智能体的成本很高。小子集可以保留智能体的排名，但得到的分数不够准确。历史响应提供了有用的结构信息，但对于新的目标智能体而言，源响应相同的任务可能产生不同的结果。我们提出层级分数后验恢复（HSPR），该方法将源拟合响应因子与不确定的组成功率相结合。观测到的目标结果会更新目标潜在状态和组成功率的后验分布；后验引导的采集策略用于选择后续任务。其基于分数的准则等于完整分数后验方差的期望单步削减量。观测到的成功结果与未查询任务的后验预测计数共同构成完整分数的后验分布。最终估计使用该后验分布的中位数，并结合源选择校准。在SWE-bench系列的四个任务库上，当任务预算为10%时，HSPR在四个任务库中的三个上取得了最低的平均绝对误差（MAE），在全部四个上取得了最低的最大绝对误差（MaxErr），均优于其他对比方法。在对照实验中，去除组不确定性或替换自适应查询分别导致宏平均MAE上升。在5%-20%的预算范围内，宏平均MAE均呈下降趋势。

查看 arXiv 页面 (https://arxiv.org/abs/2610.24611)　查看 PDF (https://arxiv.org/pdf/2610.24611)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.24611)

在你的智能体中获取此论文：

hf papers read 2610.24611

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.24611，即可从此页面链接到该模型。

引用此论文的数据集：0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.24611，即可从此页面链接到该数据集。

引用此论文的 Space：0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.24611，即可从此页面链接到该 Space。

收录此论文的合集：0

暂无合集收录此论文

将此论文加入合集即可从此页面链接到该合集。