FIRSTPASS: 基于真实编辑结果的多领域多轮同行评审数据集

# 基于真实编辑结果的多领域、多轮同行评议数据集
来源：https://arxiv.org/html/2608.26129
###### 摘要

科学同行评议数据集仅在计算机科学和机器学习领域对AI系统进行训练，导致这些模型能够批判消融研究，却从未见过生物审稿人要求污染控制或化学家质疑核磁共振谱图指认。我们推出FirstPass，首个基于多学科高影响力期刊完整多轮编辑对话构建的大规模同行评议数据集。该数据集策划自《自然·通讯》的强制性透明同行评议（2022年11月实施），包含3,668条记录，涵盖五个科学领域（生物学、化学、神经科学、物理学和地球科学），完整捕捉科学验证的迭代结构：初始审稿报告、作者逐点回应及更新后的审稿评估。每条记录附带直接源于编辑决定的结果标签（STANDARD代表两轮审稿；EXTENDED代表三轮及以上），提供了所有先前语料库中缺失的真实基准。自动审计确认100%内容完整性。专家审稿平均长度为2,155字，显著高于会议期刊审稿。所有数据、解析流程和评估脚本均已发布，以支持跨学科AI科学判断的可复现基准测试。

机器学习，ICML

## 1 引言

每个用于训练AI系统的同行评议数据集均仅来自计算机科学和机器学习领域。PeerRead（Kang等人，2018年）通过ACL、NIPS和ICLR的14,700篇草案确立了这一先例；ReviewMT（Tan等人，2025年）增加了多轮结构；MARG（D'Arcy等人，2024年）引入了多智能体生成。这些仍局限于单一社区规范。基于此类数据训练的模型学会了批判消融研究，却从未见过生物审稿人要求污染控制、化学家质疑NMR谱图指认、神经科学家挑战运动伪影校正或地球科学家争论地层年代模型。这些并非边缘案例：它们代表了科学产出的主体。

两个更深层缺陷加剧了这种领域局限性。首先，现有系统将同行评议视为一次性事件。作者-审稿对话（在此过程中主张经受压力测试、引入新数据、立场更新）是科学验证的核心机制，却缺席于所有先前的训练语料库。其次，评估存在循环性：系统根据生成文本是否“类似”审稿意见来评分，而非依据批评是否与编辑实际要求的修改相符。优化风格模仿的模型并未行使科学判断；它只是在生成具有审稿形式的文本。

我们推出FirstPass：首个在设计上跨学科、结构上具迭代性、构建上基于结果的同行评议数据集，包含来自《自然·通讯》的3,668个多轮对话，其结果标签直接源于真实的编辑决定。

## 2 数据集构建

来源。我们基于《自然·通讯》（ISSN 2041-1723）构建，原因有四：2022年11月起实施的强制性透明同行评议消除了选择性偏见；多学科范围涵盖生物学、化学、神经科学、物理学和地球科学；CC BY 4.0许可允许衍生使用；审稿平均长度2,155字，远高于会议期刊评论。

收集。我们通过Springer Nature开放获取API查询2023年1月至2025年12月发表的论文。通过Gemini-3.1-flash-lite-preview解析文章和同行评议PDF，使用工程化提取提示和JSON恢复（Borrelli，2024年），并与pdfplumber基线进行验证。仅当论文所有四个部分（摘要、引言、方法、结果）各超过20个词且至少存在两轮完整审稿时，才保留记录。讨论和结论被有意排除：审稿人主要批判方法论和结果，包含作者解释会使模型倾向于重复结论而非培养独立批判判断能力。

标签。结果标签源于轮次数：两轮对应STANDARD；三轮或更多对应EXTENDED。这种操作化反映了编辑对未解决问题的评估，不依赖于决策信文本（97.7%的记录中缺失）。该标签在五个学科中保持一致（STANDARD占62.8%–71.2%），证实其捕捉的是审稿人-作者紧张关系的结构性模式，而非单一学科程序规范。

完整性与发布。对全部3,668条保留记录的自动审计确认零空文件及100%内容完整性（定义为非空同行评议文本在所有结构化字段中与源PDF匹配）。剩余2.3%的候选记录因未达到最低部分长度阈值或缺少第二轮完整审稿而被排除。领域分布：生物学（741）、化学（744）、神经科学（739）、物理学（727）、地球科学（717）。按领域和标签分层进行80/10/10的论文级训练/验证/测试划分，以防止泄露。所有解析代码、提取提示和审计脚本均已发布，以支持独立复现。

## 3 统计数据与任务

图1说明三任务课程体系；表1报告领域级统计数据。标签平衡在不同学科间保持一致（STANDARD占62.8%至71.2%），证实分层划分保持了代表性分布。平均长度2,155字的FirstPass审稿意见比ICLR审稿意见（约400字）长五倍以上，且具有多轮结构，提供了先前语料库所不具备的训练信号。

表1：FIRSTPASS数据集领域统计。STD = STANDARD（2轮），EXT = EXTENDED（3轮以上）。三任务结构。每篇论文生成三个结构化训练示例，针对不同的科学判断能力。任务1（审稿生成）：给定论文内容，生成第一轮审稿意见，训练跨五个领域的专家批判能力。任务2（审稿更新）：给定论文内容、第一轮审稿意见和作者回应，生成第二轮审稿意见，训练对话理解能力：哪些回应有说服力，哪些引入了新数据，哪些方法论债务尚未解决。任务3（结果预测）：给定完整对话，预测STANDARD或EXTENDED，这是主要评估任务，用真实编辑决定替代了循环性风格代理作为基准。

参见标题图1：FirstPass三任务训练课程体系。经过微调的Qwen2.5-7B-Instruct在跨所有五个领域的任务3上实现了80.5%的准确率和78.2%的F1宏平均值，比Gemini-3.1-flash-lite-preview零样本高出10.4个百分点。

## 4 发布与治理

许可与访问。FirstPass继承其源材料的CC BY 4.0许可。数据集、解析流程、提取提示、审计脚本、评估套件和微调模型权重已通过Hugging Face Datasets和GitHub公开发布†††https://github.com/prabhjotschugh/firstpass-peer-review。

模式与可持续性。记录采用结构化JSON格式；模式已版本化（发布时为v1.0），字段涵盖论文元数据、领域标签、四个论文部分、分隔的审稿轮次、作者回应及结果标签。统一评估脚本计算准确率、F1宏平均值和F1-EXT，支持可复现的基准测试。随着新的《自然·通讯》论文在强制性透明同行评议下发表，该流程支持年度纵向扩展。

隐私。审稿人身份在源材料中匿名化（审稿人1、2等）并保持全程匿名。未包含已发布记录外的任何个人身份信息。

治理信号。FirstPass操作化了一项可审计的部署标准：在任务3上达到F1宏平均值≥75%的模型，表明其与基于真实结果的专家编辑判断一致，而非风格代理。除了同行评议，这种操作化适用于任何需要将AI判断与真实专家决定而非代理指标进行验证的领域，包括临床分诊、基金评估和监管审查，使FirstPass成为跨科学机构结果导向AI治理的方法论模板。FirstPass同时提供了设定该标准的基准和方法。负责任使用风险包括来自单一期刊来源的偏见复制以及可能被滥用于合成审稿生成；我们发布了明确的数据表，记录了已知局限性、仅限录用论文的范围及建议的缓解措施。

## 参考文献

- S. Borrelli（2024）Json-repair：一个修复无效JSON的Python库注：访问于2026年4月外部链接：链接 (https://github.com/mangiucugna/json_repair)引用自：§2 (https://arxiv.org/html/2608.26129#S2.p2.1)。
- M. D'Arcy, T. Hope, L. Birnbaum, and D. Downey（2024）MARG：科学论文的多智能体审稿生成外部链接：2401.04259, 链接 (https://arxiv.org/abs/2401.04259)引用自：§1 (https://arxiv.org/html/2608.26129#S1.p1.1)。
- D. Kang, W. Ammar, B. Dalvi, M. van Zuylen, S. Kohlmeier, E. Hovy, and R. Schwartz（2018）同行评议数据集（PeerRead）：收集、洞察与NLP应用载于《2018年北美计算语言学协会会议论文集：人类语言技术，第一卷（长文）》，M. Walker, H. Ji, and A. Stent (编)，路易斯安那州新奥尔良，第1647–1661页外部链接：链接 (https://aclanthology.org/N18-1149/), 文档 (https://dx.doi.org/10.18653/v1/N18-1149)引用自：§1 (https://arxiv.org/html/2608.26129#S1.p1.1)。
- Qwen, :, A. Yang, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Li, D. Liu, F. Huang, H. Wei, H. Lin, J. Yang, J. Tu, J. Zhang, J. Yang, J. Yang, J. Zhou, J. Lin, K. Dang, K. Lu, K. Bao, K. Yang, L. Yu, M. Li, M. Xue, P. Zhang, Q. Zhu, R. Men, R. Lin, T. Li, T. Tang, T. Xia, X. Ren, X. Ren, Y. Fan, Y. Su, Y. Zhang, Y. Wan, Y. Liu, Z. Cui, Z. Zhang, and Z. Qiu（2025）Qwen2.5技术报告外部链接：2412.15115, 链接 (https://arxiv.org/abs/2412.15115)引用自：§3 (https://arxiv.org/html/2608.26129#S3.p3.1)。
- C. Tan, D. Lyu, S. Li, Z. Gao, J. Wei, S. Ma, Z. Liu, and S. Z. Li（2025）同行评议作为基于角色交互的多轮和长上下文对话：大型语言模型基准测试外部链接：链接 (https://openreview.net/forum?id=uV3Gdoq2ez)引用自：§1 (https://arxiv.org/html/2608.26129#S1.p1.1)。
- G. Team, R. Anil, S. Borgeaud, J. Alayrac, J. Yu, R. Soricut, J. Schalkwyk, A. M. Dai, A. Hauth, K. Millican, D. Silver, M. Johnson, I. Antonoglou, J. Schrittwieser, A. Glaese, J. Chen, E. Pitler, T. Lillicrap, A. Lazaridou, O. Firat, J. Molloy, M. Isard, P. R. Barham, T. Hennigan, B. Lee, F. Viola, M. Reynolds, Y. Xu, R. Doherty, E. Collins, C. Meyer, E. Rutherford, E. Moreira, K. Ayoub, M. Goel, J. Krawczyk, C. Du, E. Chi, H. Cheng, E. Ni, P. Shah, P. Kane, B. Chan, M. Faruqui, A. Severyn, H. Lin, Y. Li, Y. Cheng, A. Ittycheriah, M. Mahdieh, M. Chen, P. Sun, D. Tran, S. Bagri,等人（2025）Gemini：一个高能力多模态模型家族外部链接：2312.11805, 链接 (https://arxiv.org/abs/2312.11805)引用自：§2 (https://arxiv.org/html/2608.26129#S2.p2.1)。