RubricReviewer：从直接批判到客观全面的基于评分标准的同行评审

# RubricReviewer：从直接批判到客观全面的评分标准驱动同行评审
来源：https://arxiv.org/html/2608.00005
Shuyu Guo1Wenxiang Hu2Yuyue Zhao2Yougang Lyu2Xiaohui Yan2 1山东大学2华为技术有限公司 [email protected],[email protected],[email protected], [email protected],[email protected]

###### 摘要

主要会议上的同行评审正面临前所未有的投稿压力，这促使人们使用大语言模型（LLM）作为评审助手。然而，现有的基于 LLM 的评审器存在两个结构性局限。第一，它们将稿件直接映射为评审意见，使底层评分标准隐式化，并将评分标准的推导与判断纠缠在一起。第二，当前的主流范式各自只捕捉了优质评审的一半特点：无需训练的智能体能收集广泛证据，但产生的是无明确指向的批评；基于训练的评审器则继承了人类的判别性判断，同时也继承了其中的噪声和覆盖不均。我们提出了 RubricReviewer，一个完全由评分标准驱动的框架，同时解决这两个局限。它将评分标准生成作为显式的中间步骤，使评审生成和最终评估都基于论文自适应的评分标准。它进一步将收集外部证据的无需训练智能体（Scout）与消耗这些证据、并与人类对齐的已训练模型（Aligner）结合起来，融合了两种监督来源的优势。在真实投稿上的实验表明，RubricReviewer 生成的评审比以往系统明显更全面、更具区分度，并且在面对对抗性提示注入攻击时表现出最强的鲁棒性。消融研究进一步证实了每个组件的必要性。

# RubricReviewer：从直接批判到客观全面的评分标准驱动同行评审

Shuyu Guo1††本文工作是在华为实习期间完成。Wenxiang Hu2Yuyue Zhao2Yougang Lyu2Xiaohui Yan21山东大学2华为技术有限公司[email protected],[email protected],[email protected],[email protected],[email protected]

## 1 引言

同行评审是科学进步的基石，但它的处理能力已经跟不上投稿量的爆炸式增长 Sun (2025 (https://arxiv.org/html/2608.00005#bib.bib35))。一个可靠的自动同行评审系统既能减轻评审人员的沉重负担，又能为作者提供可操作的、针对具体论文的反馈，以加速其稿件改进。

自动同行评审因此受到越来越多的关注。早期工作将问题建模为静态数据集上的评分回归或接受/拒绝分类 Kang et al. (2018 (https://arxiv.org/html/2608.00005#bib.bib15)); Dycke et al. (2023 (https://arxiv.org/html/2608.00005#bib.bib6))。随着大语言模型（LLM）的出现，重点转向直接生成文本形式的评审意见。当前方法大致分为两种范式。*基于训练*的方法在真实人类评审上微调 LLM，使输出与专家判断对齐 Weng et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib37)); Zhu et al. (2025b (https://arxiv.org/html/2608.00005#bib.bib48))。*无需训练*的方法则构建不需要参数更新的 LLM 智能体流水线，通常通过检索增强的证据收集 Li et al. (2026c (https://arxiv.org/html/2608.00005#bib.bib21)) 或多智能体委员会模拟 Lu et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib25)); Jin et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib14))。

尽管取得了这些进展，当前主流范式仍然存在两个局限。(1) 现有方法将稿件直接映射为最终评审，使底层评分标准隐式化。这种直接生成方式将两个不同的子过程纠缠在一起，即推导评分标准和据此判断论文，从而大大增加了学习难度。(2) 这两种范式各自只捕捉了优质评审所需的一半。无需训练的 LLM 擅长广泛的证据收集和总结，但往往产生无明确目标的批评，并倾向于给出中性判断 Li et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib19)); Dycke and Gurevych (2026 (https://arxiv.org/html/2608.00005#bib.bib5))。基于训练的评审器继承了人类具有判别性的判断，同时也继承了其中的噪声和覆盖不均 Sadallah et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib28)); Li et al. (2026a (https://arxiv.org/html/2608.00005#bib.bib18))。

为了同时解决这两个局限，我们提出了 RubricReviewer，一个包含两个关键设计的框架，每个设计应对一个局限。针对 (1)，我们引入显式的评分标准生成作为中间步骤，将同行评审分解为三个连续阶段，即评分标准生成、评分标准条件下的评审生成和最终评估。针对 (2)，我们的流水线通过两个协作组件结合了两种监督来源。Scout 是一组无需训练的角色专业化 LLM 智能体，它们检索外部证据并生成结构化分析作为参考。Aligner 是一个已训练模型，它消费这些参考并产生与人类判断对齐的输出。RubricReviewer 将智能体 LLM 的广泛覆盖和证据收集优势与从人类评审中提炼出的判别性判断融合在一起。

在真实投稿上的大量实验表明，RubricReviewer 在多个维度上表现优异。我们评审所依据的评分标准对人类关键评估维度的覆盖远超任何基线，由此产生的逐评分标准评审与人类评审的一致性显著更高，同时区分度也明显更强。基于这些更全面、更具区分度的评审，最终评估也与人类评分和决策达到了最佳对齐。消融研究证实了每个设计的必要性：移除基于评分标准的分解或 Scout 与 Aligner 之间的协作都会带来一致的性能下降。RubricReviewer 在对抗性提示注入攻击下也表现出很强的鲁棒性。

通过 RubricReviewer，我们探索了完全评分标准驱动的自动同行评审新方向。评审生成和最终评估都基于从每篇稿件动态推导出的评分标准，将本质上主观的开放式任务重新塑造为一组客观的逐评分标准判断。这也是在单一流水线中联合获取智能体 LLM 与人类评审监督微调互补收益的一次尝试。其有竞争力的性能指向了一条通往可靠、全面且具区分度的基于 LLM 的同行评审器的有前景路径。

## 2 相关工作

### 2.1 基于评分标准的评估

在没有可验证真值的开放式任务上进行评估一直颇具挑战性 Krishna et al. (2021 (https://arxiv.org/html/2608.00005#bib.bib16))。基于评分标准的方法通过将主观目标分解为一组细粒度、可二元检查的标准，将整体质量判断重新塑造为一组可客观回答的子问题 Gunjal et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib10)); Viswanathan et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib36))。由此产生的结构化信号是可解释的，并将监督扩展到不可验证的领域，既可作为评估指标 Sharma et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib31)); Arora et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib1))，也可作为强化学习奖励 Zhang et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib44)); Zhou et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib46))。

早期工作采用所有输入共享的预定义评分标准，这类标准易于部署但缺乏细粒度 Hashemi et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib11)); Que et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib27)); Shao et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib30))。后续工作转向针对每个输入定制的查询特定评分标准 Xie et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib40)); Liu et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib23))，并进一步发展为随模型行为演化的自适应评分标准 Sheng et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib32))，或在训练过程中与人类偏好对齐的评分标准 Lv et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib26)); Xu et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib41))。这种实例感知的评分标准已在长篇幅报告生成 Shao et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib29))、复杂推理 Sheng et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib32)) 以及其他开放式任务 Arora et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib1)) 中取得了显著收益。

科学稿件的同行评审同样具有这种难度。评审意见是自由格式且高度主观的，没有唯一可验证的答案 Zhu et al. (2025a (https://arxiv.org/html/2608.00005#bib.bib47))。然而，现有的基于 LLM 的同行评审器将稿件直接映射为评审 Weng et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib37))，使底层评估评分标准隐式化，监督信号粗糙。最接近的先前尝试将评分标准纳入评审生成过程，但依赖于所有论文共享的一小组元评分标准 Li et al. (2026c (https://arxiv.org/html/2608.00005#bib.bib21))。相比之下，我们的工作使用为每篇稿件动态生成的论文自适应评分标准来驱动同行评审流水线，并用它们来约束评审生成和最终评估。

### 2.2 基于 LLM 的同行评审

会议投稿量的不断增长使得高效可靠的同行评审辅助变得越来越有价值，这既是为了减轻评审人员负担，也是为了帮助作者改进稿件 Sun (2025 (https://arxiv.org/html/2608.00005#bib.bib35)); Su et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib33)); Sun et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib34))。早期工作将自动同行评审建模为静态数据集上的评分回归或接受/拒绝分类 Kang et al. (2018 (https://arxiv.org/html/2608.00005#bib.bib15)); Yuan et al. (2022 (https://arxiv.org/html/2608.00005#bib.bib42)); Dycke et al. (2023 (https://arxiv.org/html/2608.00005#bib.bib6))，而近期工作则转向基于 LLM 的评审生成，直接产生文本反馈 Wu et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib39))。

现有的基于 LLM 的同行评审器大致分为两种范式：基于训练和无需训练。基于训练的方法在真实人类评审上微调 LLM，使输出与人类判断对齐 Idahl and Ahmadi (2025 (https://arxiv.org/html/2608.00005#bib.bib13)); Weng et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib37)); Zhu et al. (2025b (https://arxiv.org/html/2608.00005#bib.bib48))。常见的实例包括方面或模板条件下的监督微调 Gao et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib8)); Idahl and Ahmadi (2025 (https://arxiv.org/html/2608.00005#bib.bib13)); Weng et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib37))、在长思维链推理轨迹上微调 Zhu et al. (2025b (https://arxiv.org/html/2608.00005#bib.bib48))、基于引用的监督微调 Zhang et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib45))，以及最近的带评分或偏好信号的强化学习 Zeng et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib43))。无需训练的方法则在不更新参数的情况下构建 LLM 智能体流水线 Lu et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib25)); Jin et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib14)); D’Arcy et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib4))。代表性设计包括：将批评建立在已有文献基础上的检索或工具增强评审器 Li et al. (2026c (https://arxiv.org/html/2608.00005#bib.bib21))，模拟评审委员会基于角色的讨论的多智能体协作 Jin et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib14)); D’Arcy et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib4)); Goyal et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib9)); Gao et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib7)); Lu et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib25)); Weng et al. (2026 (https://arxiv.org/html/2608.00005#bib.bib38))，以及将评审分解为迭代检查的问题驱动智能体 Chang et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib2)); Li et al. (2026b (https://arxiv.org/html/2608.00005#bib.bib20))。

尽管取得了这些进展，生成的评审意见仍达不到人类评审人员提供的实质性、精准反馈的水平 Liang et al. (2024 (https://arxiv.org/html/2608.00005#bib.bib22)); Dycke and Gurevych (2026 (https://arxiv.org/html/2608.00005#bib.bib5))，而且两种范式表现出互补的弱点。无需训练的智能体倾向于产生肤浅且偏向中性评估的批评 Zhu et al. (2025a (https://arxiv.org/html/2608.00005#bib.bib47)); Li et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib19))，而基于训练的评审器则继承了其人类监督中的噪声和覆盖不均 Sadallah et al. (2025 (https://arxiv.org/html/2608.00005#bib.bib28)); Li et al. (2026a (https://arxiv.org/html/2608.00005#bib.bib18))。事实上，这两种信号是互补的。LLM 擅长广泛的证据收集和总结，能够完善人类评审并扩展评估维度集合，而人类评审则提供了使模型有据可依的精准判断。我们的工作桥接了这两种来源，生成既全面又与人类判断对齐的评审意见。

## 3 方法

我们将同行评审形式化为一个以评分标准为中心的序列生成过程（§3.1 (https://arxiv.org/html/2608.00005#S3.SS1)），通过一个将已训练模型 Aligner 与角色专业化的 LLM 智能体 Scout 配对的多阶段流水线来实现（§3.2 (https://arxiv.org/html/2608.00005#S3.SS2)），并描述 Aligner 的训练方式（§3.3 (https://arxiv.org/html/2608.00005#S3.SS3)）。

### 3.1 任务形式化

参见图 1：RubricReviewer 推理流水线概览。推理分为三个阶段：评分标准生成、评审生成和最终评估。在每个阶段，Scout（一组无需训练的 LLM 智能体）检索外部文献并生成结构化参考（候选评分标准或评审草稿），而 Aligner（一个与人类对齐的已训练模型）消费这些参考并输出最终结果。在阶段 1，评分标准集合融合三个来源：预定义的通用评分标准、由 Scout 基于文献生成并由 Aligner 精炼的论文特定评分标准，以及从关键引文的公开人类评审中提炼的领域特定评分标准。形式上，给定输入稿件 $\mathcal{P}$，自动同行评审旨在学习条件分布 $p(R,y\mid\mathcal{P})$，其中 $R=\{r_1,\ldots,r_n\}$ 是一组原子评审（每个 $r_i$ 传达一个单一的评估判断），$y$ 是可选最终评估，例如总体评分或接受/拒绝决定。每个原子评审 $r$