无需 Rollout 的任务难度预测

# 无需展开（Rollout）的任务难度预测
来源：https://arxiv.org/html/2608.05797

###### 摘要

任务难度决定了智能体成功的可能性，而在不进行 rollout 的情况下估计难度，意味着要在执行有状态环境中代价高昂的模拟之前，直接从任务描述中预测难度。可靠的估计将使环境设计者能够校准评估基准，并构建渐进式的训练课程。随着智能体进入长时程（long-horizon）领域，这一点变得愈发重要，因为在这些领域中，经验性的试错过程已成为严重的计算瓶颈。先前关于早期预测的工作仅限于静态任务或孤立的编码环境，且往往依赖狭窄的特征和不够准确的评估指标。我们跨 17 个智能体基准（涵盖编码、数学、机器学习、网页导航、函数调用及其他领域）研究事前（ex ante）难度预测。我们证明 AUC 可能掩盖较差的难度估计，识别出 token 级熵是一种有用的预测信号，并展示预期难度与观测难度之间的残差如何揭示隐藏的环境缺陷，例如数据污染（contamination）和不可行性（infeasibility）。

## 1 引言

随着 LLM 智能体的快速进步，性能前沿正被推向越来越难以设计、验证和模拟的领域。这种转变给环境设计者带来了财务和后勤上的瓶颈。在前沿系统上评估复杂、长时程的任务，可能需要数小时的模拟交互以及每次尝试的多次模型生成（Kwa 等，2026 (https://arxiv.org/html/2608.05797#bib.bib10)）。因此，该领域面临一个悖论：进步需要经过仔细校准的环境，但经验性地验证其难度却日益变得不可行。本文主张转向事前难度预测，目标是在花费大量算力进行评估或训练之前，估计任务是否可能很难。

最近的工作使用模型的不确定性来检测基于文本的基准（如问答）中的数据污染（Li, 2023 (https://arxiv.org/html/2608.05797#bib.bib27); Xu 等，2024 (https://arxiv.org/html/2608.05797#bib.bib49); Dong 等，2024 (https://arxiv.org/html/2608.05797#bib.bib26)）。然而，污染可以被视为一个更基础的变量——即任务难度——的实例。如果模型实际上已经记住了某个项目，那么该任务就会因为与预期能力无关的原因而变得更容易。在交互式环境中，难度既会影响成功率，也会影响智能体所使用的策略。在人类情境中，高任务复杂度可能促使人们改变策略，例如诉诸不诚实（Mazar 等，2008 (https://arxiv.org/html/2608.05797#bib.bib6)）。类似地，当语言模型智能体在能力边缘运行时，它们可能会利用捷径（Skalse 等，2022 (https://arxiv.org/html/2608.05797#bib.bib7); Helff 等，2026 (https://arxiv.org/html/2608.05797#bib.bib73)）。此外，难度可以揭示评估任务是否与其预期目的不一致。一个任务可能被判定为困难，因为它超出了智能体的能力，或者仅仅因为环境本身排除了成功解决方案。相反，一个任务可能显得容易，因为它很熟悉或容易走捷径。因此，我们断定难度是连接任务设计与智能体行为的一个公共变量。

如果能在 rollout 之前估计难度，环境设计者就可以在尚未支付完整经验验证成本的情况下构建经过校准的评估。训练流程也可以构建难度逐步递增的课程（Bengio 等，2009 (https://arxiv.org/html/2608.05797#bib.bib13)），而评估则可以更好地对成功与失败进行情境化理解（Kwa 等，2026 (https://arxiv.org/html/2608.05797#bib.bib10)）。

尽管有这些动机，rollout 前的难度预测仍不成熟。据我们所知，此前只有一篇论文直接研究该设定（Ge 等，2026 (https://arxiv.org/html/2608.05797#bib.bib11)），且仅限于编码基准。这留下了两个开放问题：应如何评估这样的估计？它们能否跨基准族迁移？我们证明响应级 AUC 可能具有误导性，而任务级秩次指标则能给出更谨慎的图景。在本工作中，我们将设定从编码任务扩展到另外七类基准，并对难度预测采取诊断性视角。我们的核心贡献如下：

- **难度预测的评估**，表明即使任务难度估计较差，响应级 AUC 仍可能很高。在秩相关下，熵是最强的单一特征族，而组合特征集在整体上表现最佳，在 K 折评估下达到 Spearman ρ=0.399\\rho=0.399（与基线相比 p<0.001p<0.001），在分布外达到 ρ=0.225\\rho=0.225（§4 (https://arxiv.org/html/2608.05797#S4)，§5 (https://arxiv.org/html/2608.05797#S5)）。
- **用于隐藏任务因素的残差诊断**，展示了预测难度与观测难度之间的差距如何指导后续分析。正残差指向意外困难的任务，例如可行性或评估器失败；负残差则指向意外容易的任务，例如熟悉性（§5.3 (https://arxiv.org/html/2608.05797#S5.SS3)）。
- **一个开放的多基准语料库**，包含 17 个基准上的 415,470 个智能体-任务结果，附带任务元数据、验证器摘要、文本描述以及 IRT 估计的难度，可在本文之外用于行为分析、环境设计和训练（§3.1 (https://arxiv.org/html/2608.05797#S3.SS1)）。

## 2 相关工作

以 rollout 为参照点，我们根据难度信号被观测到的时刻，区分三类方法：执行后、执行中和执行前。

#### 执行后（After rollout）。

智能体基准常使用经验成功率、奖励或其他轨迹级数量（如动作数、步骤数和耗时）来估计难度，并以人类完成时间作为金标准（Kwa 等，2026 (https://arxiv.org/html/2608.05797#bib.bib10); Liu 等，2026 (https://arxiv.org/html/2608.05797#bib.bib12); Ho 等，2025 (https://arxiv.org/html/2608.05797#bib.bib74)）。这些方法使难度变得明确，但它们的信号只有在智能体或人类与任务交互之后才能被观察到。我们的工作则研究能否在运行智能体之前，从可用信息中预测难度。

#### 自适应方法（Adaptive methods）。

课程学习依赖难度来对训练样例或环境排序，以提高样本效率（Bengio 等，2009 (https://arxiv.org/html/2608.05797#bib.bib13); Vygotsky, 1978 (https://arxiv.org/html/2608.05797#bib.bib29); Portelas 等，2020 (https://arxiv.org/html/2608.05797#bib.bib46)）。许多在线变体相对于当前学习者来定义难度。一些方法，如自定步调（self-paced）和自动课程学习，使用损失、预测误差或时序差分（TD）误差作为难度信号（Kumar 等，2010 (https://arxiv.org/html/2608.05797#bib.bib14); Graves 等，2017 (https://arxiv.org/html/2608.05797#bib.bib15); Jiang 等，2021 (https://arxiv.org/html/2608.05797#bib.bib44)）。另一些方法，如师生课程和无监督环境设计，使用奖励、后悔值或成功率来选择既不太易也不太难的任务（Florensa 等，2018 (https://arxiv.org/html/2608.05797#bib.bib43); Dennis 等，2020 (https://arxiv.org/html/2608.05797#bib.bib22); Parker-Holder 等，2022 (https://arxiv.org/html/2608.05797#bib.bib45); Beukman 等，2024 (https://arxiv.org/html/2608.05797#bib.bib23); Tio 等，2023 (https://arxiv.org/html/2608.05797#bib.bib48); Mahrooghi 等，2026 (https://arxiv.org/html/2608.05797#bib.bib18); Matiisen 等，2019 (https://arxiv.org/html/2608.05797#bib.bib19); Bae 等，2026 (https://arxiv.org/html/2608.05797#bib.bib20)）。然而，这些方法需要执行任务，且往往在额外的师生循环中进行，这可能进一步加重我们试图规避的 rollout 开销。

#### 执行前（Before rollout）。

关于静态基准的更早期工作激发了使用语言模型的置信度信号，包括困惑度和熵（Gonen 等，2023 (https://arxiv.org/html/2608.05797#bib.bib24); Li, 2023 (https://arxiv.org/html/2608.05797#bib.bib27); Xu 等，2024 (https://arxiv.org/html/2608.05797#bib.bib49); Dong 等，2024 (https://arxiv.org/html/2608.05797#bib.bib26); Spiesberger 等，2026 (https://arxiv.org/html/2608.05797#bib.bib50); Zhu 等，2026 (https://arxiv.org/html/2608.05797#bib.bib28); Ostmeier 等，2026 (https://arxiv.org/html/2608.05797#bib.bib51); Català 等，2026 (https://arxiv.org/html/2608.05797#bib.bib53); Feng 等，2026 (https://arxiv.org/html/2608.05797#bib.bib52); Truong 等，2025 (https://arxiv.org/html/2608.05797#bib.bib76)）。这些设定不是交互式的，也不涵盖智能体基准。据我们所知，Agent Psychometrics 是唯一直接研究智能体任务事前难度预测的先前工作，且聚焦于编码基准（Ge 等，2026 (https://arxiv.org/html/2608.05797#bib.bib11)）。我们通过额外七个基准族来评估预测器，从而检验更广泛的泛化性。我们还评估了更广泛的特征集，包括 token 级熵、跨评分者不一致性、结构特征和嵌入。

## 3 方法

我们将预测流程分解为两个步骤：先从观测到的智能体-任务结果构建难度目标，再训练一个预测器，从任务描述和其他 rollout 前特征来估计该目标（图1 (https://arxiv.org/html/2608.05797#S3.F1)）。

### 3.1 数据集

表 1：数据集摘要。我们的数据集由来自 17 个智能体基准的智能体-任务结果组成，详见附录 A.1 (https://arxiv.org/html/2608.05797#A1.SS1)。每个实例记录了一个智能体配置在某个任务上的一次试验，并按基准的评分规则标记为成功或失败。我们使用 *智能体* 指代一个模型（LLM）及其用来行动的脚手架（scaffold）。

表 1 (https://arxiv.org/html/2608.05797#S3.T1) 总结了正文结果中使用的主要分析子集。它包含来自 17 个基准的 5,230 个任务，由基于 216 个模型和 90 个脚手架构建的 497 个智能体配置进行评估。对于每个任务，任务、环境和动作空间字段均以字符串描述形式存储，这些描述来自基准本身，若缺失则通过 LLM 生成。这些基准涵盖编码与软件工程、函数调用、网页导航、计算机使用、终端任务、数学、机器学习、网络安全和通用任务套件。任务日期表示任务发布或来源日期（若可得），范围为 2010 至 2026 年。智能体日期表示模型权重发布日期（若可得），否则为首次公开可用日期，范围为 2023 至 2026 年。每次试验在基准评分规则下被视为独立的伯努利观测，平均每个智能体-任务对有 1.2 次试验。

### 3.2 难度目标

难度目标 | 任务特征 | 响应 Ya,tY_{a,t} | IRT拟合 θa,βt\theta_{a},\beta_{t} | 拟合难度 βt\beta_{t} | 任务信号 xtx_{t} | 预测器 f(xt)f(x_{t}) | 预测难度 β^t\hat{\beta}_{t} | 指标 M(β^,β)M(\hat{\boldsymbol{\beta}},\boldsymbol{\beta})

图 1：难度预测流程概览。上分支：二元的智能体成功和失败结果用于拟合 IRT，并估计每个任务的难度 βt\beta_{t}。下分支：任务特征用于预测难度 β^t\hat{\beta}_{t}，评估则比较预测难度向量与 IRT 估计难度向量。

IRT 是一种心理测量学框架，用于对个体潜在特质（如知识、能力、焦虑）与其对特定测试项目的反应之间的关系进行建模（Embretson and Reise, 2025 (https://arxiv.org/html/2608.05797#bib.bib36)）。在我们的场景中，“个体”是智能体，“测试项目”是任务。设 A=a1,...,aN\mathcal{A}=\{a_{1},\ldots,a_{N}\} 表示 N 个智能体配置的集合，T=t1,...,tM\mathcal{T}=\{t_{1},\ldots,t_{M}\} 表示 M 个任务的集合。数据形成一个部分观测的二元响应矩阵

Ya,t=t1t2t3⋯tMa1a2⋮aN\[10x⋯x010⋯x⋮⋮⋮⋱⋮xx1⋯1\]Y_{a,t}=\begin{array}[]{c@{\;}c}&\begin{array}[]{ccccc}t_{1}&t_{2}&t_{3}&\cdots&t_{M}\end{array}\\[0.0pt] \begin{array}[]{c}a_{1}\\ a_{2}\\ \vdots\\ a_{N}\end{array}&\left[\begin{array}[]{ccccc}1&0&\mathrm{x}&\cdots&\mathrm{x}\\ 0&1&0&\cdots&\mathrm{x}\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ \mathrm{x}&\mathrm{x}&1&\cdots&1\end{array}\right]\end{array}

其中 1 表示成功，0 表示失败，x\mathrm{x} 表示缺失评估，Ω\Omega 是观测到的智能体-任务对集合。每一行是一个唯一的智能体配置（例如带脚手架的基座模型），每一列是一个唯一的任务。目标是通过为每个智能体学习一个标量 θa\theta_{a}，并为每个任务学习一个标量 βt\beta_{t}，来对成功概率进行建模。在单参数逻辑斯蒂 IRT 模型（1PL；Rasch 模型（Rasch, 1960 (https://arxiv.org/html/2608.05797#bib.bib30)））中，这被写为

P(Ya,t=1∣θa,βt)=σ(θa−βt),P(Y_{a,t}=1\mid\theta_{a},\beta_{t})=\sigma(\theta_{a}-\beta_{t}), (1)

其中 θa\theta_{a} 表示智能体能力，βt\beta_{t} 表示任务难度，σ(z)=1/(1+exp(−z))\sigma(z)=1/(1+\exp(-z)) 是 Sigmoid 函数。这一形式提供了我们所需的归纳偏置，因为成功取决于能力与难度在共享尺度上的相对位置。若 θa=βt\theta_{a}=\beta_{t}，则能力与难度平衡；若 θa>βt\theta_{a}>\beta_{t}，则能力超过难度；若 θa<βt\theta_{a}<\beta_{t}，则难度超过能力。因此，所得到的 βt\beta_{t} 是基于观测结果推断出的表面任务难度的标量摘要，并且可能吸收任务侧的协变量（如可行性、严格性、熟悉性和噪声），正如 θa\theta_{a} 可能吸收智能体侧的协变量（如脚手架有效性、工具可用性和噪声）一样。借助一个可解释的预测器和合适的设置，这使我们能够追问哪些特征解释了拟合难度的不同部分。

该模型在观测到的对 (a,t)∈Ω(a,t)\in\Omega 上训练，通过随机变分推断（SVI）（Hoffman 等，2013 (https://arxiv.org/html/2608.05797#bib.bib33)）和重参数化技巧（Kingma and Welling, 2013 (https://arxiv.org/html/2608.05797#bib.bib32)）优化证据下界（ELBO）。我们对所有参数放置零中心高斯先验，并用独立的 Gaussian 变分分布来近似这些参数的后验分布：

q(θa)=N(μθa,σθa2),q(βt)=N(μβt,σβt2).q(\theta_{a})=\mathcal{N}(\mu_{\theta_{a}},\sigma_{\theta_{a}}^{2}),\qquad q(\beta_{t})=\mathcal{N}(\mu_{\beta_{t}},\sigma_{\beta_{t}}^{2}).

由于模型严格依赖于差值 θa−βt\theta_{a}-\beta_{t}，参数可以任意平移而不会改变概率。为解决这一问题，我们将能力 θa\theta_{a} 的中心设为零，以锚定尺度。随后，我们使用所得到的任务难度估计（β\beta）作为下游预测的目标。拟合得分在响应级 AUC 上达到 0.93。