LLM能否生成可靠的评分标准？实验复现的元评估

# 大型语言模型能否编写可靠的评分标准？面向实验复现的元评估

来源：https://arxiv.org/html/2607.12835

Hanhua Hong1,2, Yizhi Li3, Jiaoyan Chen1, Luu Gia Huy5, Sophia Ananiadou1,4, Jung-jae Kim2, Chenghua Lin1  
1 曼彻斯特大学, 2 信息通信研究所 (I2R), A\*STAR, 3 IQuest Research, 4 ELLIS 曼彻斯特, 5 越南国立大学信息科技大学  
[email protected], [email protected]  
{jiaoyan.chen, sophia.ananiadou, chenghua.lin}@manchester.ac.uk

###### 摘要

基于评分标准的评估是评估基于 LLM 的研究智能体在开放输出方面的一种有前景的方法，特别是在论文复现领域——因为直接进行论文到代码仓库的比较容易产生幻觉。然而，构建面向具体论文的评分标准需要大量专家投入，限制了 PaperBench 等基准测试的可扩展性。在本工作中，我们首次（据我们所知）对用于论文复现的 LLM 生成的评分标准进行了系统性的元评估。我们将评分标准重构为清单式格式，并在两个骨干模型上评估了四种生成设置。我们从内在（通过语义相似度）和外在（通过与真实评分标准所打分值的一致性）两个维度对生成的评分标准进行元评估。结果表明，增强设置显著提升了下游评估的一致性，最强设置接近人类基线水平，而内在增益则较为温和。进一步分析揭示，LLM 生成的评分标准往往过于细致、偏向高分，且对论文领域的适应性较差，这既展示了其潜力，也暴露了其局限性。

大型语言模型能否编写可靠的评分标准？面向实验复现的元评估

Hanhua Hong1,2, Yizhi Li3, Jiaoyan Chen1, Luu Gia Huy5, Sophia Ananiadou1,4, Jung-jae Kim2, Chenghua Lin1  
1 曼彻斯特大学, 2 信息通信研究所 (I2R), A\*STAR, 3 IQuest Research, 4 ELLIS 曼彻斯特, 5 越南国立大学信息科技大学  
[email protected], [email protected]  
{jiaoyan.chen, sophia.ananiadou, chenghua.lin}@manchester.ac.uk

参照图注图1：我们对论文复现中 LLM 生成的评分标准进行元评估的框架概览。给定一篇论文，复现智能体生成候选代码仓库，而 LLM 和人类专家则生成清单式评分标准。我们从内在维度评估生成的评分标准（衡量其与人类编写的评分标准的语义相似度），并从外在维度评估（比较它们诱导出的仓库得分与 PaperBench 评估结果之间的一致性）。

## 1 引言

近年来，大型语言模型（LLMs）在代码生成、推理和工具使用方面的能力显著提升，推动了基于 LLM 的科学研究智能体的快速发展[Zhao et al. (2025); Yuan et al. (2025); Yamada et al. (2025); Lyu et al. (2026b)]。这些智能体被期望能够在最少人类监督下，解读研究论文、设计实验流程并执行计算研究。

在此工作流中，将论文中的实验复现为可执行的代码仓库始终是最关键且最具挑战性的阶段之一[Zhu et al. (2025)]。在机器学习领域，这一挑战尤为严峻——论文发表速度远超相关制品（如代码）的发布速度，顶级会议近期仅有约 20% 的论文提供了完整且可复现的代码库[Lin et al. (2022); Magnusson et al. (2023); Seo et al. (2025)]。为解决这一瓶颈，越来越多的研究聚焦于自动化论文到代码的生成，包括 PaperCoder[Seo et al. (2025)]、AutoP2C[Lin et al. (2025)]、AutoReproduce[Zhao et al. (2025)] 和 HiRAS[Hong et al. (2026)]。

然而，可靠地评估这些系统本身同样具有挑战性，甚至更难。Paper2Code 基准测试[Seo et al. (2025)]采用的直接论文到仓库的比较方法容易产生幻觉——评估者可能错误地推断出所描述的方法已被实现[Hong et al. (2026)]。相比之下，PaperBench[Starace et al. (2025)]引入了**基于评分标准的评估**：每篇论文都配有一个树状结构的评分标准，包含细粒度、有权重的通过/失败标准，覆盖不同的复现阶段；候选仓库则针对每个标准独立进行评估。基于评分标准的评估已逐渐成为跨领域评估开放 LLM 输出的通用策略[Wang et al. (2025); Arora et al. (2025); Sharma et al. (2025)]，并被证明比整体评估能产生更可靠的判断[Zhou et al. (2026)]。

然而，评分标准的构建本身已成为一个主要瓶颈。PaperBench 的评分标准是与原论文作者紧密合作手动设计的，需要大量人类投入，却仍只覆盖了 20 篇论文。每篇论文的标准数量从 94 到 2551 不等，反映了在不同论文和标注者之间标准化评分标准设计的难度。其他领域的评分标准基准测试也面临类似的标注成本：HealthBench 需要 262 位医生的贡献[Arora et al. (2025)]，而 ResearchRubrics 花费了超过 2800 小时的专家时间[Sharma et al. (2025)]。与此同时，LLM 既被用作基于固定评分标准的评判者[Zheng et al. (2023); Gu et al. (2025)]，也被用作强化学习奖励建模的评分标准生成器[Gunjal et al. (2026)]。LLM 是否也能作为高风险的论文复现评估中可靠的评分标准生成器，同时保持与人类判断的一致性，仍然是一个悬而未决的问题。

在本工作中，我们首先将评分标准形式化为清单式表示——这是基于评分标准评估中广泛采用的格式[Sharma et al. (2025); Arora et al. (2025); Wang et al. (2025)]。然后，我们研究了四种逐步增强的评分标准生成设置，范围从直接提示到上下文示例、智能体脚手架和提炼的程序技能。最后，我们从两个互补的维度对生成的评分标准进行元评估：内在一致性（与人类编写的评分标准的相似度，通过词汇和语义相似度衡量）和外在一致性（由生成的和真实的评分标准诱导出的仓库级得分之间的相关性）。据我们所知，这是第一个针对论文复现中模型生成的评分标准进行的系统性元评估。我们的工作概览如图1所示。

总之，我们的贡献有三方面：

- • 我们在 PaperBench 上对 LLM 作为机器学习论文复现的评分标准作者进行了受控元评估，涵盖了四种逐步增强的生成设置和两个骨干模型。最强设置在外部一致性上达到了 0.78 的 Spearman 相关性，接近 0.83 的人类基线。
- • 我们表明，逐步增强显著提升了与人类 PaperBench 评估的外部一致性，而内在相似度的提升较为温和，且主要由召回率的提高驱动——这表明下游评估质量更多依赖于评分标准的覆盖率和粒度，而非文本相似度。
- • 我们进一步通过评分标准统计、得分分布分析、类别级分析和定性比较，刻画了 LLM 生成的评分标准的局限性。我们的发现表明，与人类编写的评分标准相比，生成的评分标准通常更细致、更偏向代码，且对特定主题的复现优先级适应性较差。

## 2 相关工作

### 2.1 基于智能体的自动化研究

近年来，LLM 的进步使得基于智能体的系统能够自动化科学工作流——从全周期研究系统（如 AI Scientist[Lu et al., 2024; Yamada et al., 2025]、DOLPHIN[Yuan et al., 2025] 和 Zochi[Intology, 2025]），到面向特定阶段的工具（如创意生成[Wang et al., 2024; Li et al., 2025]、严谨性评估[James et al., 2024] 和实验复现）。在复现领域，诸如 PaperCoder[Seo et al., 2025]、AutoP2C[Lin et al., 2025]、AutoReproduce[Zhao et al., 2025] 和 HiRAS[Hong et al., 2026] 等系统旨在从研究论文重建代码库。

除了这些系统，MLS-Bench[Lyu et al., 2026a]、SciReplicateBench[Xiang et al., 2025] 和 PaperBench[Starace et al., 2025] 等基准测试也被提出用于评估科学智能体。虽然这些基准测试提高了评估的可靠性，但它们也暴露了一个关键瓶颈：它们需要细粒度的、专家定义的标准——而这些标准通常不可用。我们的工作通过系统地研究 LLM 能否生成与人类编写的评估一致的论文特定评分标准，来解决这一瓶颈。

### 2.2 基于评分标准的评估

评分标准作为结构化的监督信号，近来受到关注——它将复杂目标分解为细粒度的标准。在 LLM 后训练中，实例特定的评分标准已被用作奖励信号，将强化学习扩展到数学和编码等可验证领域之外[Gunjal et al., 2026]；最近的工作还探索了用于奖励建模和对齐的可扩展合成评分标准生成[Liu et al., 2026]。评分标准也通过用明确的标准替代整体判断来支持结构化评估。在论文复现中，PaperBench 为每篇论文配对了与原作者共同开发的分层评分标准[Starace et al., 2025]，类似的协议也被 HealthBench、ProfBench 和 ResearchRubrics 采用[Arora et al., 2025; Wang et al., 2025; Sharma et al., 2025]。

尽管有其价值，评分标准仍然昂贵且难以标准化。PaperBench 仅覆盖 20 篇论文，而 HealthBench 需要 262 位医生提供评分标准[Starace et al., 2025; Arora et al., 2025]。这激发了关于模型生成的评分标准和基于评分标准的基准测试的工作，例如 RubricBench[Zhou et al., 2026]。我们的工作研究论文复现中的这一问题，其中评分标准的质量不仅取决于文本的合理性，还取决于其诱导出与人类编写的评分标准一致的仓库级评估的能力。

### 2.3 元评估

元评估研究评估方法本身是否可靠且与人类判断一致。随着 LLM 越来越多地被用作开放生成式任务的自动评判者，这一问题变得至关重要。先前研究如 G-Eval[Liu et al., 2023] 表明，用明确的评估标准提示 LLM 可以提高与人类判断的相关性；而 LLM 作为评判者的研究和调查则识别出重要的可靠性问题，包括话语长度偏差、位置偏差、自我偏好和不一致性[Liu et al., 2023; Zheng et al., 2023; Gu et al., 2025]。

对于基于评分标准的评估，评判者和评分标准本身都至关重要。PaperBench 在固定的人类编写的评分标准下比较了人类和 LLM 评判者，而 RubricBench 主要是在强化学习奖励建模设置下评估不同评分标准来源下的评判者，对评分标准生成本身的分析有限[Starace et al., 2025; Zhou et al., 2026]。相比之下，我们的工作直接聚焦于论文复现中评分标准生成的元评估，通过内在和外在两种元评估方法探索逐步增强的生成设置。

## 3 方法论

### 3.1 问题定义

在本工作中，我们将评分标准表示为清单式格式。每个评分项 \(r_i\) 包含一个标准 \(c_i\) 和一个相关的重要度得分 \(s_i\)（范围 1 到 5），即 \(r_i = (c_i, s_i)\)。对于一篇论文 \(\mathcal{P}\)，完整的评分标准集定义为 \(R = \{r_1, r_2, \dots, r_n\}\)。

为了评估一个仓库是否忠实地复现了论文中的实验，评估者独立检查每个评分标准并做出二元判断，记为 \(f: c_i \rightarrow \text{Pass/Fail}\)。论文的最终复现得分计算为所有通过标准的加权和，除以评分标准总分：

\[
\mathrm{score} = \frac{\sum_i [f(c_i) = \mathrm{Pass}] \cdot s_i}{\sum_i s_i},
\tag{1}
\]

其中 \([\cdot]\) 在条件满足时返回 1，否则返回 0。

**算法 1** 智能体脚手架算法  
1: 骨干模型 LLM；初始提示 \(p_0\)；工作区 \(W = \{\mathcal{P}, E\}\)  
2: 结束报告 Report；更新后的工作区 \(W\)  
3: \(\mathrm{Mem} \leftarrow p_0\)  
4: while True do  
5: \(\mathrm{Reasoning, Action} \leftarrow \mathrm{LLM}(\mathrm{Mem})\)  
6: \(\mathrm{Mem} \leftarrow \mathrm{Mem} \cup \{(\mathrm{Reasoning, Action})\}\)  
7: if \(\mathrm{Action} \in \mathrm{SystemTools}\) then  
8: \(\mathrm{Result}, W \leftarrow \texttt{system.call}(\mathrm{Action})\)  
9: \(\mathrm{Mem} \leftarrow \mathrm{Mem} \cup \{\mathrm{Result}\}\)  
10: ...

（注：原始算法在第 6 行后不完整，但为保持原文忠实性，保留当前内容。）