重新思考文献搜索评估：深度研究有帮助，人类引用列表并非真实标准

# 深度研究有用，而人工引用列表并非基准真相
来源：https://arxiv.org/html/2605.29234
## 重新思考文献检索评估：深度研究有用，而人工引用列表并非基准真相

Gaurav Sahu1,2, Laurent Charlin1,2,4, Christopher Pal1,3,4,5,6 1Mila – 魁北克人工智能研究所2HEC Montréal 3ServiceNow Research4加拿大CIFAR人工智能主席 5蒙特利尔大学6蒙特利尔综合理工学院

###### 摘要

我们从两个互补的角度研究大规模文献检索：改进检索流水线，以及对人工参考文献列表作为评估目标进行压力测试。首先，我们实现了一个*深度研究*流水线，它处理完整的查询论文，并沿着其参考文献广度优先扩展检索结果。我们表明，该流水线显著优于仅使用API的普通搜索，将RollingEval-Jun25（一个包含250篇论文的文献检索基准）上的召回率从低于20%提高到80%以上。其次，我们使用一个中立的LLM作为评判者，判断人工参考文献是否是该项任务的可靠基准真相。我们发现了显著的局限性：仅51%的人工引文被判定为中等相关或更高，而最强AI重排名器这一比例为86–88%。我们在OpenAlex合著图上研究这一差距，发现人类比最好的AI重排名者更有可能引用直接合作者2.5倍。综合来看，我们的结果反对单一维度的文献检索评估：召回率、主题相关性评分、排序列表多样性以及合著距离诊断各自衡量引文质量的互补属性，应联合报告。

重新思考文献检索评估：深度研究有用，而人工引用列表并非基准真相

## 1. 引言

文献检索仍是科学工作的基础步骤，但很难进行良好评估。社区通常根据查询论文自身引用的论文报告精确率和召回率（Ajith等, 2024 (https://arxiv.org/html/2605.29234#bib.bib4)；Hang等, 2025 (https://arxiv.org/html/2605.29234#bib.bib24)），将该参考文献列表视为基准真相。这一惯例存在两个问题。首先，基于关键词的普通API搜索遗漏了大部分相关文献：对学术索引的单关键词和多关键词查询很脆弱，引文图的长尾结构将相关工作隐藏在参考文献链之后（Kinney等, 2023 (https://arxiv.org/html/2605.29234#bib.bib7)；Priem等, 2022 (https://arxiv.org/html/2605.29234#bib.bib8)）。其次，参考文献列表本身不完整且具有特异性（Agarwal等, 2025 (https://arxiv.org/html/2605.29234#bib.bib1)），除了主题相关论文外，还包括基础论文引用和软件归属。

我们解决这两个问题并报告两个发现。(1) 一个*深度研究*流水线，它摄取完整的查询论文并递归地扩展其参考文献，将召回率比普通API搜索提高一个数量级。(2) 将人工参考文献列表视为干净的基准真相是有问题的：一个中立的LLM评判者（Zheng等, 2023 (https://arxiv.org/html/2605.29234#bib.bib13)）仅将51%的人工引文评为中等相关或更高，而最强自动重排名者这一比例为86–88%。我们通过OpenAlex合著图（Priem等, 2022 (https://arxiv.org/html/2605.29234#bib.bib8)）探究这一差距，发现人类引用直接合作者的频率比最强重排名者高2.5倍。

#### 贡献。

(i) 一个用于全文文献搜索的模块化深度研究检索流水线（图1 (https://arxiv.org/html/2605.29234#S1.F1)），与传统文献搜索基线相比具有数量级的召回率提升，以及RollingEval-Jun25，一个250篇论文的基准，缓解了数据污染问题。(ii) 对人工参考文献列表的分析，记录了系统性的非主题引用，并提供了一个重新思考文献搜索基准真相的框架。

参见图例图1：深度研究流水线。系统摄取完整的查询论文，生成LLM构建的关键词查询，从学术API检索种子论文，沿引文链接扩展候选集，并对合并的候选集进行重排序。完整算法和提示词见附录B (https://arxiv.org/html/2605.29234#A2)。参见图例图2：K处的精确率@K（左）和召回率@K（右），K采用对数标度。深度研究将召回率比普通搜索提高一个数量级；Qwen3嵌入在顶部K精确率上最强。

## 2. 深度研究流水线

该系统包含两个阶段：高召回率检索阶段和重排序阶段。阶段1提示LLM为查询文档草拟多样化的关键词查询，将其转换为arXiv、OpenAlex和Semantic Scholar提供者特定的语法（Kinney等, 2023 (https://arxiv.org/html/2605.29234#bib.bib7)；Priem等, 2022 (https://arxiv.org/html/2605.29234#bib.bib8)），并在考虑速率限制的并发下收集候选者。阶段2（深度研究）沿参考文献广度优先扩展候选集，达到可配置的深度和论文预算。然后，三个可互换模块之一对扩展后的池进行重排序：Qwen3嵌入（Zhang等, 2025a (https://arxiv.org/html/2605.29234#bib.bib6)）；基于LLM的辩论排序机制，在分配0–100相关性分数之前产生支持和反对包含的论点；或辩论++Qwen3集成，结合两者。算法伪代码、提示词以及完整的缓存/并发细节见附录B (https://arxiv.org/html/2605.29234#A2)。

## 3. 设置

基准。我们构建RollingEval-Jun25，这是最初由（Agarwal等, 2025 (https://arxiv.org/html/2605.29234#bib.bib1)）提出的RollingEval系列的2025年6月快照，以避免在基准测试LLM进行文献搜索时的数据污染问题。该基准包含250篇计算机科学arXiv提交，带有清理后的全文和参考文献。我们选择2025年6月，因为它晚于本工作中评估的每个LLM的训练数据截止日期，从而减轻污染，并且清理后的全文和参考文献流水线支持第4节（https://arxiv.org/html/2605.29234#S4）中匹配输入的头对头重排序器比较。我们通过OpenAlex和SemanticScholar API获取参考文献，并回退到基于LLM的解析器，该解析器直接从PDF中提取参考文献。

指标。我们报告：(a) 对照人工参考文献列表的精确率和召回率，(b) 语义相关性（SR），来自LLM评判者（Zheng等, 2023 (https://arxiv.org/html/2605.29234#bib.bib13)）的0–100分数，以及(c) α-nDCG（Clarke等, 2008 (https://arxiv.org/html/2605.29234#bib.bib9)），nDCG（Järvelin and Kekäläinen, 2002 (https://arxiv.org/html/2605.29234#bib.bib10)）的新颖性感知变体，衡量排序列表如何在不冗余的情况下覆盖不同主题。详细的指标定义见附录D (https://arxiv.org/html/2605.29234#A4)。

SR评判者是GPT-OSS-120B，通过vLLM（Kwon等, 2023 (https://arxiv.org/html/2605.29234#bib.bib12)）提供服务；对于每一对，它基于查询论文的全文（标题、摘要、正文）和候选者的标题和摘要，返回一个评分标准等级，范围在{0,...,5}（见提示8 (https://arxiv.org/html/2605.29234#A3.T8)），然后乘以20。重排序器也通过比较查询论文的全文与候选者的标题和摘要来评分候选者。

## 4. 检索结果

深度研究带来了数量级的召回率提升。图2 (https://arxiv.org/html/2605.29234#S1.F2)绘制了对照人工参考文献列表的精确率和召回率。普通API搜索（*无重排序，无DR*）仅在K≈10^5时接近15%的召回率，并且从未超过，而每个深度研究变体在K=10^4时超过80%的召回率。Qwen3嵌入实现了最强的顶部K精确率（K=1时为0.37），紧跟着辩论+Qwen集成。我们还包含了PaSa（He等, 2025 (https://arxiv.org/html/2605.29234#bib.bib2)）和ScholarQA（Singh等, 2025 (https://arxiv.org/html/2605.29234#bib.bib3)）作为深度研究基线。我们在RollingEval-Jun25上运行两者，输入查询论文的摘要；每个系统然后通过其本地检索和评分流水线产生排序。表1 (https://arxiv.org/html/2605.29234#S4.T1)总结了四个代表性截断处的精确率和召回率。最好的深度研究变体在K=100时比arXiv-API基线的召回率几乎提高三倍，并在K=1000时达到51.9%的召回率。

表1：K∈{20,100,1000}时的精确率和召回率。最优列加粗。#### 多样性和排序质量。

除了精确率和召回率，我们还想了解高度相关的项是否集中在每个排序列表的顶部附近。表2 (https://arxiv.org/html/2605.29234#S4.T2)报告了α-nDCG（Clarke等, 2008 (https://arxiv.org/html/2605.29234#bib.bib9)）和LLM评判的语义相关性分数在K∈{10,100,1000}的情况。辩论（不含Qwen）在K=100和K=1000时实现了最强的α-nDCG，表明基于提示的评分比嵌入相似性导致更高的多样性和相关项在排序列表中更均匀分布。辩论++Qwen3集成具有最高的前10语义相关性（67.9），验证其作为最强的顶部列表检索器，而单独Qwen3在K=100和K=1000时保持最高的语义相关性，表明更好的长尾行为。基准真相行锚定了比较：人工参考文献列表本身在不同K的语义相关性在47–51，远低于前10/100桶中的AI重排序器，我们接下来检查这一差异。

表2：K∈{10,100,1000}时的α-nDCG和语义相关性。越高越好。

## 5. 人工参考文献 = 基准真相？

只有当人类参考文献列表本身可靠时，对照它的召回率才是一个一致的指标。我们通过让一个中立的LLM评判者评估每篇被引论文的主题相关性来测试这一点，然后将得到的分布与同一评判者在匹配列表长度下对AI重排序器输出的评分进行比较。

设置。对于250篇查询论文P中的每一篇，有N_P个参考文献，我们评估所有人类引文以及来自每个重排序器的前N_P个预测。这种列表长度对等至关重要：更长的AI列表会平凡地包括更多低分尾部项目。我们汇总了9,204个人类（查询，参考文献）对和36,692个AI对。

表3 (https://arxiv.org/html/2605.29234#S5.T3)显示了匹配K的分布，图3 (https://arxiv.org/html/2605.29234#S5.F3)显示了完整曲线。限制在相同列表长度下，人类参考文献在51.4%的情况下得分≥60，而Qwen3和辩论+Qwen分别达到86.0%和87.8%。差异集中在得分=40，该得分捕获了38.2%的人类参考文献，但仅占顶级重排序器检索到的10.2–13.7%。在LLM评判者的主题相关性轴上，最强重排序器的前N_P列表在匹配长度上得分高于人工策展列表；这谈到了引文质量的一个维度，而不是对人类列表的总体裁决。图3 (https://arxiv.org/html/2605.29234#S5.F3)在不同K上使这一点具体化：AI重排序器从远高于人类饱和水平开始，并在整个K≤1000评分窗口内保持高于人类曲线，随着顶部列表信号与较低相关性的尾部项混合，它们的累积分数逐渐向表3 (https://arxiv.org/html/2605.29234#S5.T3)中的匹配K均值稀释。

表3：匹配前N_P时的语义相关性分布。n是（查询，参考文献）对的总数。参见图例图3：前K检索候选者的累积语义相关性，SR评判者应用于每查询最多K_max=1000项。人类参考文献在K=50附近饱和接近51；AI重排序器从更高开始（K=1时为73–75），并在整个K≤1000评分窗口内保持在人类曲线上方。差距是引文串通伪像吗？一个自然的假设是人类引用合作者。我们在OpenAlex合著图（Priem等, 2022 (https://arxiv.org/html/2605.29234#bib.bib8)）上测试这一点，将每个（查询，候选者）对按作者集之间的最小跳数分类，d∈{0,1,2,3,≥4}（正式定义和BFS数据要求见附录E (https://arxiv.org/html/2605.29234#A5)）。表4 (https://arxiv.org/html/2605.29234#S5.T4)报告了分布。

偏差集中在短跳数并随半径衰减。在d=0（直接合著）时，人类引用自己或合著者的可能性比最强重排序者高2.5倍（5.13% 对比 1.9–2.1%）。一跳内的累积率为人类12.2%对比最佳AI方法6.9–7.4%，相差1.6倍。到d≤2时差距缩小到1.1倍（53.6% 对比 46.6–48.7%），到d≤3时所有来源接近80–83%，与学术图的小世界结构一致。条件均值分数在不同距离类别上对于人类基本平坦（d=0到d≥4分别为56.1, 52.6, 51.2, 51.2, 50.9）：引文的网络邻近性并不预测其主题相关性。

表4：匹配前N_P时的合著图距离，OpenAlex图。d=0：直接合著；更高d：最短合著路径。解释。两种效应单独都合理，但共同解释了差距。网络偏差集中在直接和一跳合作者，其中人类与重排序者差异显著（d=0时5.13% 对比 1.9–2.1%；一跳内12.2% 对比 6.9–7.4%）；从d≥2开始分布趋同，因此网络邻近性驱动了清晰但有界的差异份额。引用密切合作者在工作确实相关时是适当的，但在这个幅度下，它表明作者应投入相应更多精力来捕获其直接圈子之外的更广泛图景。在主题轴上，基础背景（Transformer, ResNet, BERT（Vaswani等, 2017 (https://arxiv.org/html/2605.29234#bib.bib16)；He等, 2016 (https://arxiv.org/html/2605.29234#bib.bib17)；Devlin等, 2019 (https://arxiv.org/html/2605.29234#bib.bib14)））、经典算法（Adam（Kingma and Ba, 2015 (https://arxiv.org/html/2605.29234#bib.bib15)））以及软件或库归属都是引用摘要不携带主题信号的论文的合理理由；但更难辩护的是，这类引文在匹配长度的人类参考文献列表中占了近一半（48.6%），而最强重排序者仅为12–14%。附录F (https://arxiv.org/html/2605.29234#A6)中给出了18个代表性例子。实际含义有两点：文献检索基准不应将人类参考文献列表视为干净的基准真相，且作者应将参考文献的主题相关性份额视为值得检查的属性。未来工作还应将主题评分标准与查询论文中的引文上下文跨度配对，或以其他方式建模人类引用的原因。

## 6. 讨论与结论

我们的结果主张将社区通常混淆的两个问题分开。*系统是否检索了作者引用的论文？*这是针对已知不完美目标的覆盖问题。*系统是否检索了中立读者认为相关的论文？*这是一个不同的、*互补的*问题。这两者