PRISMA-LLM：一个用于AI辅助系统性综述的实证报告框架

# PRISMA-LLM：一项用于AI辅助系统评价的经验报告框架  
来源：https://arxiv.org/html/2609.11559  
Miguel Zabaleta*机构：西奈山医学院人工智能与人类健康系，纽约，美国*  
Baihan Lin*机构：西奈山医学院人工智能与人类健康系，纽约，美国*  
*机构：西奈山医学院精神病学系，纽约，美国*  
*机构：西奈山医学院神经科学系，纽约，美国*  
\*通讯作者：baihan\.lin@mssm\.edu  

###### 摘要  
大语言模型（LLM）和AI支持的软件日益参与系统评价决策，但审计这些工作流所需的信息报告却缺乏一致性。我们分析了SciLitBench语料库（包含888篇评价自动化论文及14,726条标注），以刻画方法、评价阶段应用、评估和报告局限性的变化特征。自动化已转向面向LLM和软件的工作流，包括可能改变证据基础的阶段。自2023年以来，38.0%的软件/产品类论文未报告评估，而LLM类论文中这一比例为9.3%。报告覆盖度随LLM工作流复杂度增加而提升，但52%仅报告正面结果的LLM评估仍存在未满足的可靠性或性能要求。基于这些模式，我们提出了PRISMA-LLM——一个基于经验的框架，将实施披露与结果敏感性评估及局限性报告相分离。  

††脚注：分析代码、所用出版日期数据、PRISMA-LLM报告指南、可填写的核对表工作簿以及核对表证据表可通过 https://github.com/linlab/PRISMA-LLM 获取。  

*关键词*：系统评价、大语言模型、PRISMA、报告指南、证据合成、评价自动化  

系统评价有助于确定哪些证据纳入科学综合，并在许多领域为指南、政策和临床决策提供信息。计算系统长期辅助文献检索和筛选，但LLM和AI支持的软件现正应用于评价工作流中更广泛的部分，包括全文筛选、数据提取、质量评估和综合分析\[16 ([https://arxiv.org/html/2609.11559#bib.bib1](https://arxiv.org/html/2609.11559#bib.bib1)), 7 ([https://arxiv.org/html/2609.11559#bib.bib2](https://arxiv.org/html/2609.11559#bib.bib2)), 13 ([https://arxiv.org/html/2609.11559#bib.bib5](https://arxiv.org/html/2609.11559#bib.bib5))\]。随着自动化从导航转向可能改变证据基础的决策，评价的可复现性越来越依赖于计算工作流本身的细节。这带来了报告问题。AI辅助的工作流可能依赖于模型或产品身份、版本与访问模式、提示词与系统指令、采样设置、数据结构、文档解析、分块、检索、后处理、阈值以及人工裁决。对于托管或专有系统，其行为也可能随时间变化，而发布的评价可能并未相应更新。若披露不足，读者可能无法确定自动化内容、错误传播途径、决策是否经过独立核查，或工作流是否可复现或具有实质性可审计性\[9 ([https://arxiv.org/html/2609.11559#bib.bib7](https://arxiv.org/html/2609.11559#bib.bib7))\]。  

报告指南将透明度的普遍期望转化为读者可用的具体信息。PRISMA 2020规定了理解系统评价实施与报告方式所需的信息\[10 ([https://arxiv.org/html/2609.11559#bib.bib11](https://arxiv.org/html/2609.11559#bib.bib11))\]；PRISMA-S作为密切先例，认识到技术上有重要影响的检索程序需要专门的报告细节\[12 ([https://arxiv.org/html/2609.11559#bib.bib12](https://arxiv.org/html/2609.11559#bib.bib12))\]。AI辅助的评价工作流产生了相关报告问题：若缺乏模型和工作流细节，读者便缺少了解自动化内容、错误产生方式或工作流是否可重用的信息。近期多项提案已开始针对AI相关报告，包括PRISMA-AI、PRISMA-trAIce、PRISMA-DFLLM和L-PRISMA\[2 ([https://arxiv.org/html/2609.11559#bib.bib13](https://arxiv.org/html/2609.11559#bib.bib13)), 5 ([https://arxiv.org/html/2609.11559#bib.bib14](https://arxiv.org/html/2609.11559#bib.bib14)), 15 ([https://arxiv.org/html/2609.11559#bib.bib15](https://arxiv.org/html/2609.11559#bib.bib15)), 14 ([https://arxiv.org/html/2609.11559#bib.bib16](https://arxiv.org/html/2609.11559#bib.bib16))\]。目前尚不清楚的是，报告实践在更广泛的评价自动化文献中如何演变，以及评估和局限性报告的哪些反复出现的维度可以为更具体的指南提供经验基础。  

在此，我们分析SciLitBench\[17 ([https://arxiv.org/html/2609.11559#bib.bib17](https://arxiv.org/html/2609.11559#bib.bib17))\]，这是一个包含888篇关于系统评价中计算自动化的论文的语料库。我们提出三个问题：评价自动化如何随时间及评价阶段变化；评估和局限性报告是否因方法不同而异；以及这些观察到的报告模式对LLM辅助评价的透明报告有何启示。随后，我们引入PRISMA-LLM作为一个经验驱动的报告框架，与PRISMA 2020的结构保持一致。其目的并非认证AI工作流的质量或安全性，而是使实施选择、评估证据、人工监督和失败模式充分可见，以便读者解读和审计该评价。由于实施复杂度不等于方法学风险，我们将提议的层级视为披露层级而非风险层级，并明确允许对原本简单的工具进行具有重要影响的应用时触发更强的评估要求。  

## 1 结果  
SciLitBench提供了计算系统如何进入系统评价实践的纵向视角。我们首先刻画出版量、技术方法、评价阶段应用和模型家族的变化，然后考察评估和局限性报告是否随所用方法而变化。最后，我们利用这些经验模式提出一个报告框架。  

### 1.1 增长与转变  
出版量在观察期内急剧增长。图1b ([https://arxiv.org/html/2609.11559#S1.F1](https://arxiv.org/html/2609.11559#S1.F1))显示，出版数量在语料库历史的大部分时间里较低且相对平稳，约在2018–2019年开始上升，然后在2022年底ChatGPT发布后急剧增加。对2020年1月至2025年6月正计数月度的对数线性拟合对应估计的4.7%月增长率。语料库涵盖多个领域，61.7%的记录来自生命科学与医学（图1a ([https://arxiv.org/html/2609.11559#S1.F1](https://arxiv.org/html/2609.11559#S1.F1))）。这种集中度符合证据综合的更广泛历史，生物医学研究产生了大量系统评价文献（PRISMA本身源于医疗干预综述和荟萃分析的报告指南）\[11 ([https://arxiv.org/html/2609.11559#bib.bib9](https://arxiv.org/html/2609.11559#bib.bib9)), 4 ([https://arxiv.org/html/2609.11559#bib.bib10](https://arxiv.org/html/2609.11559#bib.bib10)), 8 ([https://arxiv.org/html/2609.11559#bib.bib8](https://arxiv.org/html/2609.11559#bib.bib8)), 10 ([https://arxiv.org/html/2609.11559#bib.bib11](https://arxiv.org/html/2609.11559#bib.bib11))\]。工程与技术、社会科学与管理分别占15.8%和13.0%。混合领域论文、自然科学以及艺术与人文占其余部分。  

a) 语料库构成 b) 出版增长  

参见图例  
图1：评价自动化中的语料库范围与出版增长。a) SciLitBench包含888篇论文级记录和14,726个标注项；61.7%的论文来自生命科学与医学。b) 为清晰起见，显示2010年以后的出版计数；五篇收录论文早于2010年。红色曲线是对2020年1月至2025年6月正计数月度的对数线性拟合，聚合至所示时间段。虚线延续和灰色区域显示至2026年的描述性外推，非因果或校准预测。垂直虚线标记ChatGPT的公开发布。  

图2 ([https://arxiv.org/html/2609.11559#S1.F2](https://arxiv.org/html/2609.11559#S1.F2))显示评价阶段和方法随时间的变化。早期的评价自动化工作集中于定制模型构建、BERT、深度学习、传统机器学习和基于规则的系统。近年来，我们观察到向LLM和底层使用LLM的软件产品（如Elicit和DistillerSR\[1 ([https://arxiv.org/html/2609.11559#bib.bib3](https://arxiv.org/html/2609.11559#bib.bib3)), 3 ([https://arxiv.org/html/2609.11559#bib.bib4](https://arxiv.org/html/2609.11559#bib.bib4))\]）的明显转变（图2a ([https://arxiv.org/html/2609.11559#S1.F2](https://arxiv.org/html/2609.11559#S1.F2))）。自动化也进入错误可能改变证据基础的评价阶段。我们将这些阶段分为发现/导航、筛选/选择以及证据构建。在近期记录中，筛选/选择和证据构建与发现/导航共同占据了相当大的比例（图2b ([https://arxiv.org/html/2609.11559#S1.F2](https://arxiv.org/html/2609.11559#S1.F2))）。我们还考察了LLM采用在不同领域的差异。在生命科学与医学领域，使用LLM的论文比例已上升，近期接近60%（图2c ([https://arxiv.org/html/2609.11559#S1.F2](https://arxiv.org/html/2609.11559#S1.F2))）。工程与技术以及社会科学与管理显示出更大的短期波动，但两条曲线在2024年末至2025年初下跌后，在观察的2025年窗口期均呈上升趋势。混合领域记录在最近的几个窗口期达到70–80%。  

a) 方法取向 b) 评价阶段构成 c) 按领域的LLM采用情况  

参见图例  
图2：方法取向、评价阶段应用和LLM采用的转变。所有面板使用重叠的滚动3个月窗口。a) 排他性方法取向。LLM/软件导向类别包括LLM和软件产品论文；在ChatGPT之前，该类别因此为软件导向。虚线标记ChatGPT公开发布，实线和三角形标记LLM/软件导向工作成为最大取向类别的第一个窗口。b) 评价阶段构成。每篇论文贡献总权重1，均等分配于其分配的阶段组；因此筛选/选择和证据构建代表的是评价阶段关注度的份额，而非唯一论文的份额。c) 每个高层级领域中使用LLM的论文份额，从包含LLM使用的第一个窗口开始。混合领域论文跨越多个领域，单独显示。相邻点共享观测，不应解释为独立时间点。  

我们还探讨了不同学科在使用的语言模型上是否存在差异。补充图S1 ([https://arxiv.org/html/2609.11559#Sx3.F1](https://arxiv.org/html/2609.11559#Sx3.F1))显示，基于BERT的论文更具领域特异性：生物医学变体主导了生命科学与医学的大部分，而通用BERT、BERTopic、句子嵌入和其他Transformer变体在该领域之外更为突出。大多数LLM论文使用GPT/ChatGPT系列系统，与先前报告一致\[13 ([https://arxiv.org/html/2609.11559#bib.bib5](https://arxiv.org/html/2609.11559#bib.bib5)), 6 ([https://arxiv.org/html/2609.11559#bib.bib6](https://arxiv.org/html/2609.11559#bib.bib6))\]，而Claude、Gemini/Bard/PaLM、Llama、Mistral/Mixtral和其他系列出现较少。至于开源权重模型与专有模型的使用，数据显示大多数LLM使用仍依赖于专有或托管系统，而开源权重模型出现频率低得多（84.1%专有、11.0%混合、4.9%开源权重）。尽管我们看到某些领域的开源权重使用多于其他领域（例如，混合领域记录中28.0%涉及开源权重或混合专有/开源权重使用，而工程与技术领域为10.3%），但这些差异不具有统计学显著性。  

总体而言，语料库显示一个领域正在多个方面发生变化：评价自动化论文快速增长，所用方法转向面向LLM/软件的工作流，自动化越来越多地出现在可能影响哪些证据纳入评价及其解读方式的阶段。接下来，我们探讨报告实践是否跟上了这些变化，并引入“报告丰富度”作为衡量每篇论文提供多少评估和局限性细节的指标。  

### 1.2 评估报告因自动化背景和方法复杂度而异  
评价自动化正在增长，并进入自动化决策可能影响证据基础的评价部分。因此，我们询问论文是否为研究人员提供了足够细节以理解自动化内容、评估方式及报告的局限性。我们用“报告丰富度”来概括这一点，这是论文级覆盖范围的描述性指标而非研究质量度量，并在方法组和LLM时代工作流类型之间进行比较。  

报告丰富度是一个描述性的0–15指数，衡量论文报告的评估和局限性细节量。它结合了五个维度：性能证据、比较、优化或修改证据、资源或可行性信息以及局限性或失败模式；完整评分规则见方法部分（3.4节 ([https://arxiv.org/html/2609.11559#S3.SS4](https://arxiv.org/html/2609.11559#S3.SS4))）。传统、深度学习和面向BERT的方法作为近期论文的比例下降，而其平均报告丰富度保持相对稳定。LLM论文在2023年后显示出报告丰富度增加，而软件/产品论文仍然常见但包含较少的论文级评估和局限性细节（补充图S3 ([https://arxiv.org/html/2609.11559#Sx3.F3](https://arxiv.org/html/2609.11559#Sx3.F3))）。自2023年以来，软件/产品论文平均报告丰富度得分为3.3，而LLM论文为6.3，传统、深度学习和面向BERT的论文为6.0。未报告评估的论文比例也呈现同样对比：38.0%的软件/产品论文未报告评估，而LLM论文为9.3%，传统、深度学习和面向BERT的论文为13.6%。  

同一语料库使我们得以深入探究LLM时代评价自动化所用的方法。我们并非将所有LLM使用视为一个类别，而是根据报告的自动化方法类型对论文进行分组：仅软件/产品使用、仅提示词LLM使用、结构化或工程化LLM工作流、检索型、适配型或代理型LLM工作流，以及非LLM自动化。图3a ([https://arxiv.org/html/2609.11559#S1.F3](https://arxiv.org/html/2609.11559#S1.F3))显示了这些组别的滚动3个月份额，并附有三个时间参考点：ChatGPT、GPT-4和GPTs/检索。仅提示词LLM使用首次出现在2023年，结构化或工程化工作流在该年晚些时候出现，检索型、适配型或代理型工作流出现在2024年初。在截至2025年6月的最新滚动窗口中，比例为：34.0%仅提示词LLM、29.2%仅软件/产品、14.2%工程化或结构化LLM、8.5%检索型/适配型/代理型LLM、7.5%神经非LLM以及6.6%规则或传统ML。  

a) 方法复杂度混合 b) 按方法复杂度的报告情况  

参见图例  
图3：LLM时代工作流复杂度与评估报告。a) 重叠滚动3个月窗口中的排他性方法复杂度类别。ChatGPT、GPT-4和GPTs/检索的参考日期仅提供时间背景，不被视为因果断点。b) 2023年及以后发表论文的报告结果。柱状图显示平均报告丰富度和未报告评估的论文百分比；n为每组论文数量。  

报告覆盖度在观察的LLM工作流类别中增加，从仅提示词型到工程化以及检索/适配/代理型方法。这些是描述性关联，也可能反映研究目的、发表场所、任务和其他特征的差异。在2023年及以后发表的论文中，仅软件/产品论文的平均报告丰富度得分最低（2.6），44.4%未报告评估。仅提示词LLM论文平均...