Prompt-to-Paper: 生物信息学的代理式AI系统

# Prompt-to-Paper：用于生物信息学的智能体人工智能系统
来源：https://arxiv.org/html/2607.05456
Ramsha Kamran, Maheera Amjad, Zartasha Mustansar, Arsalan Shaukat, Salma Sherbaz, 和 Muhammad U.S. Khan
R. Kamran, M. Amjad, Z. Mustansar, S. Sherbaz, 和 M.U.S. Khan 就职于巴基斯坦伊斯兰堡国立科技大学（NUST）跨学科工程与科学学院（SINES）。A. Shaukat 就职于巴基斯坦拉瓦尔品第国立科技大学（NUST）电气与机械工程学院（CEME）。

###### 摘要

尽管大语言模型的最新进展使得端到端的自动手稿生成成为可能，但现有系统存在三个关键缺陷：（i）生成的声明并未确定性地基于可验证文献；（ii）实验结果经常是编造而非实际执行；（iii）缺乏一个标准化、多维度的框架来评估AI生成的手稿是否达到真实出版所需的质量和严谨性。我们提出 **Prompt-to-Paper**，一个多阶段多智能体框架，通过三项集成创新直接解决这一评估缺口。首先，一个确定性的检索增强生成流水线，结合按章节相关的相关性评分和滚雪球式引用扩展，将每项声明建立在60–100篇论文的可验证语料库上。其次，一个自主编码智能体执行真实计算生物学实验，用真实的数值结果替代合成输出。第三，一个**八维**自动质量评分器，以已发表论文的近似参考统计量为基准，并加入明确的幻觉惩罚，提供标准化、可复现的质量评估。质量驱动的改进循环使用一个上下文丰富的修订器，每次迭代将路由至以下三种研究者行为之一（从执行结果中添加统计分析、通过RAG存储收集新的文献证据、或为清晰度重写），并且每十次迭代触发一个深度研究循环，以重新运行实验并从更强的输出重新生成手稿。我们在五个生物信息学案例研究上验证该系统；所有五个案例均编译成提交格式的PDF，且零超出范围引用。改进循环使手稿质量在0–100分制上平均提升 +17.96 分（最大提升 +26.04 分）。作为部分外部检查，三个独立的大语言模型对质量排名达成一致，一位人类评审员对五篇手稿的平均评分为7.0分（满分10分）。完整手稿的生产成本约为每篇0.31美元。

###### 索引术语：

智能体AI、生物信息学、自动手稿生成、检索增强生成、科学质量评估、深度研究循环。

## I. 引言

人类跟上科学文献的能力已被超越。出版物数量在增长，研究人员已无法再追踪领域进展 [1](https://arxiv.org/html/2607.05456#bib.bib1)。这种数量上的压力导致了可测量的质量下降，以及再现性和验证方面的持续问题 [2](https://arxiv.org/html/2607.05456#bib.bib2), [3](https://arxiv.org/html/2607.05456#bib.bib3)。随着撤稿和更正数量的增加，科学系统面临着一个其自身已无法可靠自我纠正的诚信危机 [4](https://arxiv.org/html/2607.05456#bib.bib4), [5](https://arxiv.org/html/2607.05456#bib.bib5)。

AI已经改变了科学写作的过程，但这一转变带来了一个仍未解决的挑战：当研究人员已经难以验证人类撰写的论文时，我们如何验证自动生成的论文？真正的问题不在于AI是否能写论文，而在于它写的论文是否真的好，是否填补了真正的科学空白。

其影响已经开始显现。2024年2月发表的一篇关于精原干细胞论文，尽管存在AI生成内容的担忧，仍通过了评审过程，随后被撤稿 [6](https://arxiv.org/html/2607.05456#bib.bib6)。类似地，Sakana AI用于自动化创意生成、实验、论文撰写和同行评审的系统，在真实研讨会的初审阶段获得通过，但作者指出存在虚构引用、新颖性弱、实验错误和再现性差的问题 [7](https://arxiv.org/html/2607.05456#bib.bib7), [8](https://arxiv.org/html/2607.05456#bib.bib8)。这两个案例有一个共同原因：评估AI生成科学论文的质量、有效性和可发表性仍然是一个重大未解挑战 [9](https://arxiv.org/html/2607.05456#bib.bib9), [8](https://arxiv.org/html/2607.05456#bib.bib8)。

我们提出 **Prompt-to-Paper：用于生物信息学的智能体人工智能系统**，一个通过以下方式弥补这一差距的多智能体框架：

- • 基于60–100篇经过验证的真实论文的确定性RAG检索。
- • 一个自主编码智能体，执行真实实验，并将可验证的数值结果注入手稿的每个章节。
- • 一个包含幻觉惩罚的八维自动质量评分器。
- • 一个上下文丰富的迭代改进循环，包含深度研究循环，能在散文润色平台期之外持续提升质量。

## II. 相关工作

### II-A 基于知识的科学写作

PaperRobot [10](https://arxiv.org/html/2607.05456#bib.bib10) 构建了一个包含超过160万个生物医学实体的知识图谱，并利用图谱和文本注意力来预测新颖的假设，生成摘要、结论及后续标题。在图灵测试中，其生成的摘要30%的情况下比人类摘要更受青睐。然而，该系统使用静态的预构建知识图谱；它在生成过程中不会从实时文献中检索或验证事实，也从未执行过真实实验。PaSa [11](https://arxiv.org/html/2607.05456#bib.bib11) 通过一个由LLM驱动的搜索智能体来自主遍历引用网络来解决检索问题，实现了显著的召回率提升。ScholarGym [12](https://arxiv.org/html/2607.05456#bib.bib12) 提供了一个包含57万篇论文的模拟环境，用于可重复评估研究工作流程。这些系统侧重于检索或评估，但缺乏集成的写作或修订组件。

### II-B 迭代手稿精炼

CycleResearcher [13](https://arxiv.org/html/2607.05456#bib.bib13) 训练了一个生成完整论文的策略模型和一个模拟同行评审的奖励模型（CycleReviewer），两者均通过强化学习迭代更新。CycleReviewer 的评审员评分预测误差比单个人类评审员低27%，生成的论文平均模拟得分为5.36/10，接近人类预印本的平均分5.24。然而，作者明确报告所有实验数字均为合成而非实际执行，系统仅限于机器学习论文，且评估完全依赖于模拟评审员，没有真实质量检查。OpenLens AI [14](https://arxiv.org/html/2607.05456#bib.bib14) 通过多智能体文献综述和数据分析解决健康信息学问题，但缺乏针对通用系统的严格基准测试，并且没有执行真实实验。

### II-C 研究缺口

上述分析揭示了三个开放挑战。首先，当前系统依赖特定领域的训练数据或静态知识图谱，不具备泛化能力。其次，缺乏对可验证实时语料库的确定性检索，编造或合成结果很常见。第三，没有系统能够将真实实验执行与多维、带惩罚机制的质量评分器相结合。我们的系统解决了所有这三个挑战。

## III. 方法论

Research Landscape Explorer v4（RLEv4）是 **Prompt-to-Paper** 的实现主干，它是一个多智能体流水线，能将一个研究主题转化为提交格式的手稿，且仅需最少的人工参与。它克服了先前系统的三个主要弱点：缺乏可验证的文献基础、没有真实实验执行、以及缺少迭代质量控制。该流水线包含五个高层阶段：文献获取与相关性评分、知识图谱构建与声明对齐、手稿生成、自主生物信息学实验、以及上下文丰富的质量驱动修订。

虽然像 Gemini [15](https://arxiv.org/html/2607.05456#bib.bib15) 这样的系统展示了AI作为数学发现中协作伙伴的能力，但 RLEv4 为整个研究生命周期提供了一个完全自动化、生产就绪的流水线，无需在每个阶段都进行专家级提示。

> 参见图注
> 图1：针对 TP53 热点突变理化分析的规划智能体输出。每个块是一个功能阶段，分组为数据层、模型层、评估层和输出层；箭头追踪从原始序列经理化计算和置换检验到最终可视化的数据流。

### III-A 文献获取与相关性评分

给定一个研究主题 tt，RLEv4 从 Semantic Scholar 检索真实的学术论文，并在配置时也从 Tavily 检索。对于每篇论文 pp，流水线提取其标题、摘要、年份、引用次数、发表来源，以及当通过PDF获取和章节分割可用时的全文章节。按章节相关的相关性评分计算如下：

R(p,t)=∑_{s∈S} w_s ⋅ cos(e_s(p), e_q(t)), (1)

其中 S 是已解析的章节集合（摘要、方法、结果、引言、讨论、结论）；w_s 是经验设定的权重（摘要 0.30，方法 0.25，结果 0.20，引言 0.12，讨论 0.08，结论 0.05）；e_s(p) 是章节 s 的 SPECTER2 嵌入（当 SPECTER2 不可用时，使用 BM25 + 显著章节的备用方案）；e_q(t) 是查询嵌入。

初始种子集最多包含 60 篇论文，并通过受 PaSa [11](https://arxiv.org/html/2607.05456#bib.bib11) 启发的滚雪球抽样进行扩展：对于每篇种子论文，流水线通过 Semantic Scholar 批量 API 获取其参考文献和引文，计算候选论文的 R(·,t)，并保留那些超过相关性阈值 τ∈[0.05, 0.08] 的论文。两次滚雪球迭代产生最终 60–100 篇论文的语料库。然后，一个多样性排序器根据综合得分（结合引用次数、时效性和自动检测的研究立场——支持/反对/比较）对语料库进行排序，使用来自 EpidemIQs [16](https://arxiv.org/html/2607.05456#bib.bib16) 的启发式关键词方法，在呈现支持性工作的同时，也呈现矛盾的证据。

### III-B 知识图谱与声明对齐

从排名靠前的论文中，流水线构建一个有向图 G=(V,E)，其中节点代表论文，边代表引用关系。计算论文子图上的 PageRank 得分 PR(v) 以识别有影响力的工作。同时，一个声明提取模块使用每篇论文的摘要、结果和结论来提示领导模型，每篇论文生成最多五个可证伪的声明，并连同语料库一起存储在关系型 SQLite 数据库中。

> 参见图注
> 图2：针对 TP53 查询的声明对齐知识图谱。节点为论文，大小由 PageRank 决定；边的颜色按声明关系着色：支持（绿色）、矛盾（红色）、正交（蓝色）。红色边标记了真实的差异，这些差异正是手稿缺口分析直接针对的目标。
> 参见图注
> 图3：RLEv4 交互式仪表板的论文视图，针对 TP53 热点突变查询，展示语料库统计信息、每篇论文的引用次数、相关性评分、检测到的研究立场以及提取的关键声明。

声明对齐构建了一个成对关系矩阵。对于来自不同论文的声明 c_i 和 c_j，领导模型将关系分类为支持、矛盾或正交；当LLM不可用时，使用基于启发式关键词重叠的备用方案。由此产生的矛盾和共识陈述直接为手稿的缺口分析提供信息，将 CycleResearcher [13](https://arxiv.org/html/2607.05456#bib.bib13) 的成对比较范式扩展到基于实时语料的场景。

### III-C 领导者-工作者模型路由

所有LLM调用都通过一个由硬开关 `USE_ONLY_DEEPSEEK=1` 强制执行的两层 DeepSeek 专用堆栈进行路由。**领导者**角色（质量判断、发现缺口、综合、深度循环重新生成手稿）使用 `deepseek-v4-pro`，这是一个具备推理能力的模型，其思维链有助于分析深度。**工作者**角色（章节写作、代码生成、JSON规划）使用 `deepseek-chat`，一个快速的非推理模型，能够可靠地输出结构化内容，而不会将规划性散文泄露到手稿中。这种划分是早期跨模型配置中观察到的一个失败的直接结果：当质量判断者将其输出预算用于隐藏推理而不是生成干净的JSON时，G-Eval评分器会悄悄地在每个维度上回退到中性先验，使得改进循环与内容无关，导致整体得分无论手稿质量如何都停滞不前。将判断者路由到推理模型，同时将章节写作保留在快速聊天模型上，同时解决了这两个问题。

领导者构建一个JSON规范，描述流水线的功能层及其数据流，如图1（https://arxiv.org/html/2607.05456#S3.F1）中规划智能体的输出所示。然后，工作者依次起草每个章节，由结构化提示指导，这些提示强制使用主动语态、精确的数字报告，并避免使用通用的填充短语。生成后，领导者重新评估每个章节，在工作修订之前提供修改反馈。

### III-D 自主生物信息学实验

对于计算生物学主题，RLEv4 调用一个受 EpidemIQs [16](https://arxiv.org/html/2607.05456#bib.bib16) 执行层启发的自主编码智能体。该智能体接收一个详细的任务查询，其中嵌入了生物信息学问题、硬编码的参考数据以及所有必需的算法步骤，然后自主编写、执行和调试 Python 脚本，这些脚本能够：

- • 使用硬编码的序列和矩阵（实验期间无网络调用），带有封装在五次重试指数退避循环中的 NCBI Entrez 备用方案。
- • 执行渐进式多序列比对（匹配=2，错配=-1，空位开放=-5，空位延伸=-2）并计算 Jukes-Cantor 距离 d = -¾ ln(1 - 4p/3)。
- • 通过注入的 `rigor.py` 模块执行统计验证：置换检验（n=5,000 次洗牌），bootstrap 置信区间，Benjamini-Hochberg 多重比较校正，Cohen's d 效应量，以及零基线比较。
- • 将所有数值结果保存到规范的 `results.json` 和至少一张达到出版质量的 `plot.png` 中。

在执行前，语法门（`ast.parse`）会在未闭合括号和截断的 f-string 消耗完整尝试之前捕获它们；失败时，会发送一个针对确切问题行的聚焦修复提示，然后才回退到完全重新生成。该智能体在一个沙盒环境中运行，超时时间为1小时，最多允许12次真实执行尝试（`BIO_MAX_REAL_ATTEMPTS=12`）。成功运行会产生一个规范的 `CanonicalResults` 对象，其数字被逐字注入到手稿的每个章节中，确保论文中数值的一致性。与 CycleResearcher 不同，它不会产生合成结果。