ResearchQA：科学论文中基于引用的问答基准测试

# ResearchQA: 面向科学论文的引文锚定问答基准测试
来源：https://arxiv.org/html/2607.11074
\(2026年5月4日\)

###### 摘要

大型语言模型越来越多地被用于辅助科学阅读，但现有的评估方法往往无法检测答案是否得到可验证引文支持。我们提出 ResearchQA，这是一个包含 6,211 个单论文问答对的数据集，涵盖来自八个领域的 494 篇开放获取论文，以及四种问题类型：查找、理解、多跳和对抗性。ResearchQA 专为引文锚定评估而设计：它允许一个论断有多个有效的支持段落，并在源论文不支持答案时奖励基于引文的拒绝回答。我们在引文锚定的“与论文对话”设置中，使用确定性引文匹配器和基于 LLM 的评分卡评估器，对八个领先的闭源和开源模型进行了评估。基于引文的指标比 LLM 评估器分数更能清晰地区分不同系统：各模型在章节覆盖率和引文准确性上差异显著，而评估器分数则高度集中。我们进一步发现，开源模型在引文准确性上接近最佳闭源模型的表现，同时每例延迟降低了 3 到 6 倍。我们发布了该数据集(https://huggingface.co/datasets/khoj-ai/ResearchQA)、评估工具 (https://github.com/khoj-ai/openpaper/tree/92cd89c85dbabb9bff8baa281e0678472ccb2ab4/server/evals) 和评估器提示。

## 引言

研究人员越来越依赖大型语言模型来阅读和推理科学文献，在此场景下，有两个属性比流畅性更重要：(1) 每个论断都应可追溯到源文中可验证的证据；(2) 答案应呈现完整、相关的上下文，而非只是其中确信的部分。编造或错误归因的引文会传播错误的假设，并侵蚀基于它们构建的发现的信任。标准评估方法无法衡量这些属性：LLM 评估器分数奖励合理的 prose，而嵌入相似度会放过那些编造但主题相关的文本。我们提出 ResearchQA，这是一个直接衡量引文锚定回答能力的基准测试，它将 LLM 生成的问题与确定性检查配对，确认引用的段落确实存在于其所声称的论文中。

信息检索基准测试历史悠久，但现有的实验未能满足我们的研究约束。它们要么针对更狭窄的语料库、不同粒度的证据，要么忽略了对于引文锚定产品而言最重要的失败模式。HotPotQA (https://hotpotqa.github.io/) 基于维基百科构建，专为多跳推理设计；它策划精良且广泛使用，但维基百科文章缺乏密集的数值和方法论内容——统计、表格、方法章节、研究发现——而“与这篇论文对话”功能正需要基于这些内容。因此我们排除了它。

与我们实验最接近的先前工作是 QASPER (https://arxiv.org/abs/2105.03011)：一个由 NLP 论文组成的精选语料库，包含由人类标注者提取的问题、答案和支持证据。QASPER 的设计选择——论文级范围、锚定证据的答案、多种问题类型——直接启发了我们的工作。它本身不足以支撑我们研究的两点原因是：它只覆盖了 NLP 论文（我们需要一个领域多样化的语料库来衡量通用研究数据集），并且其标注流程使用了付费的研究生标注员，这与我们期望的每篇论文行密度规模相冲突。驱动本研究大部分工作的一个开放问题是：一个强大的前沿 LLM，结合针对源文本的确定性验证步骤，能否足够好地替代人类标注员，以低成本将 QASPER 的设计扩展到多领域数据集。

两个方法论陷阱塑造了此后的设计。LLM 评估器评分存在评分卡坍塌(评分集中在 1-5 分制的端点，除非每个级别都有明确的锚点)；引文评估存在逐字匹配 vs 释义之间的权衡，即子串匹配（在处理 PDF 提取噪声时会失败）与嵌入相似度（会放过编造但主题相关的引用）之间的权衡。*方法*章节描述了如何缓解评分卡坍塌和逐字 vs 释义权衡；同族偏差（评估者在评分时会高估来自其自身家族的响应）是一个已知的混杂因素，我们在本节中描述了其特征，但未在 v1 版本中消除，将在*局限性* 中讨论。

由此产生了三个测量需求：(1) 一个独立于答案质量、能识别编造引文的指标，这样那些用 prose 拼接看似合理数字的模型不会与直接引用论文的模型得分相同；(2) 将对抗鲁棒性作为首要分数，奖励基于证据的拒绝回答，而不是将其隐藏在聚合分数中；(3) 通过*整合了哪些章节*来衡量多跳推理，而不仅仅是看 prose 是否提到了多个东西。

## 方法

该基准测试包含三个具体产物——数据集、在数据集上运行模型的工具包以及对其输出进行评分的评分器——外加两个评分器机制（引文匹配器和 LLM 评估器），它们构成了结果中的大部分信号。我们依次介绍每个部分。

### 数据集构建

数据集构建流程*图 1: ResearchQA 数据集构建流程。语料库来自 OpenAlex 的 8 个领域。在通过评估工具进行基准测试之前，由 Gemini 3.1 Pro 生成问题及预期的引文。*

论文语料库来源于OpenAlex (https://openalex.org/) 在八个领域的开放获取子集（机器学习、公共卫生、教育、环境科学、历史与人文学科、数学、心理学和社会科学），选择这些领域以平衡技术密集度（数字、方法、表格）与需要抽象理解能力的 prose 密集型学科。在撰写本文时，该基准测试包含 494 篇论文；PDF（用于评估工具的输入流程）和提取的全文（用于评分时的引文匹配）均已存储。

问题/答案/证据三元组由 Gemini 3.1 Pro 在结构化输出模式下，按论文分块生成。该模式约束模型的输出形状，并在写入前根据模式验证每一行。

行生成扇出*图 2: 行生成扇出。代理读取论文，同时提取基于证据的块（配以查找和理解问题），构建需要跨章节综合的多跳问题，并生成包含错误前提的对抗性问题。*

在撰写本文时，该数据集包含 6,211 行，采用四维分类法。四种问题类型是：

- •查找（抽取式）：一个事实性问题，其答案在论文的单个段落中——例如，“样本量是多少？”——测试模型能否定位并引用正确的文本段。
- •理解（抽象式）：一个关于主题、方法论或含义的开放式问题，要求模型综合一个段落而非直接复制——例如，“作者对先前工作的批评是什么？”。
- •多跳：一个无法从任何单个段落获得答案的问题，需要结合来自两个或多个不同章节的证据——例如，将某个结果与声明的基线进行比较，或者从分布在方法、结果和表格中的数字计算出衍生量。
- •对抗性：一个包含错误前提或询问论文未涉及内容的问题——例如，在单臂研究中询问安慰剂组——正确的行为是识别出错误前提并拒绝回答，而非编造答案。

多跳问题是最难生成的，因为 LLM 作者必须构建一个问题，其答案不能从任何单个段落中获得。结构化输出模式在生成时强制执行此要求（完整模式见附录 B）：每个多跳行携带至少两个指向不同章节的SectionEvidence块、一个命名跳之间依赖关系的reasoning\_chain，以及一个要求跨章节整合的judge\_rubric标准。生成器最常生成的模式包括：将结果与声明的基线进行比较、检查讨论部分的限定条件是否否定了主要发现声明、以及从分布在方法、结果和表格中的数字计算出衍生量。

基于证据块，评分采用章节间的 AND 逻辑和每个章节内替代项的 OR 逻辑：当模型为每个必需章节至少引用一个替代项时，即满足该行。对于查找和理解行，这通常解析为包含多个替代项的单个SectionEvidence，因此覆盖率是二元的。对于多跳行，列表包含每个必需章节的一个SectionEvidence，因此覆盖率是分数形式的——一个解决了三个必需章节中两个的模型获得 0.667 分。

### 基准测试工具

该工具将每个问题路由到 Open Paper 的完整“与论文对话”流程——在索引论文上的检索、要求模型将每个论断锚定到引用段落的引文合约，以及从模型响应中提取引文的结构化输出解析器。

### 指标

每行根据最多六个指标评分，其中四个是确定性的，两个由 LLM 评估。

四个确定性指标是：

- •引文精确率：模型引文中匹配某个必需章节中某些替代项的比例——衡量模型的引文中有多少是“有用”的。
- •章节覆盖率：必需章节的分数满意度，章节间为 AND，章节内替代项为 OR——衡量模型是否触及了所有必需章节。
- •引文准确性：模型引文中，在经过下述标准化处理后，是论文原始文本中可验证子串的比例——衡量模型是否编造了引用。
- •拒绝正确性（仅对抗性问题行）：如果模型完全拒绝回答或其产生的每条引文都基于论文，则为 1.0；如果任何引用的段落是编造的，则为 0.0——衡量模型是否为驳斥错误前提而编造证据。

两个由 LLM 评估的指标，每个采用 1-5 分制，并包含下述每级锚定定义：

- •事实准确性：答案中的每个事实性论断是否与预期答案一致。
- •完整性：预期答案中的每个关键点是否都被覆盖。

我们有意独立测量确定性指标和评估器指标，这样引文锚定信号不会被评估器噪声淹没；这种分离也使得评估器的失败模式可见（当确定性指标显示出较大方差而评估器指标饱和时，我们知道应该检查评估器）。

### 面向 PDF 的引文匹配器

引文匹配器判断模型引用的引用是否出现在论文提取的文本中。简单地说，这是一个子串检查，但PyPDF2 (https://pypi.org/project/PyPDF2/) 的文本提取会引入足够的噪声——行尾连字符、词中空格、连字、智能引号——使得忠实引用的引文经常无法通过精确匹配。匹配器通过对两侧应用标准化流程来吸收这种噪声，并以最终去除空白字符的回退机制作为补充，该机制可以恢复因 PDF 词中伪影而断裂的引文；完整实现细节在已发布的代码中。我们选择此方法而非嵌入相似度，因为两者的失败模式不同：基于标准化的匹配器会拒绝看似编造的、不论文中出现的内容，而嵌入匹配器则会放过一个编造但主题相关、在嵌入空间中紧邻真实论文内容的引用。

### LLM 评估器

LLM 评估器以 1-5 分制对事实准确性和完整性进行评分，每个级别都由具体标准锚定，而不仅仅是端点。

对于事实准确性：

- •5— 实际答案中的每个事实性论断都与预期答案一致，没有编造的细节。
- •4— 恰好一个小的不准确之处（接近正确的错误数字、略微错误的归因）。
- •3— 一个实质性错误或两到三个小错误。
- •2— 多个实质性错误，或一个足以破坏主要论断的错误。
- •1— 核心论断与预期答案矛盾，或答案完全是编造的。

对于完整性：

- •5— 预期答案中的每个关键点都被覆盖。
- •4— 恰好一个小的遗漏。
- •3— 一个实质性的遗漏或两到三个小遗漏。
- •2— 多个实质性遗漏。
- •1— 核心点根本未被涉及。

在锚定评分卡下，完整性显示出有意义的差异。这种模式与同期工作一致，这些工作表明锁定、以证据为锚的评分卡能减少评估器的不稳定性 (Hong et al., 2025 (https://arxiv.org/abs/2601.08654))，并且基于知识的评分卡比基于表面启发式的评分卡能产生更具区分度的评估器判断 (Song et al., 2026 (https://arxiv.org/abs/2603.11027))。事实准确性在此切片上对于 Gemini 3.1 Pro 而言仍饱和在 5.000——这可以解释为“该模型在该数据集询问的事实性论断上确实准确”，而非残余的评分卡坍塌，因为比较中的较弱模型确实获得了低于 5 的分数。目前，一个单一的 Gemini 评估器对所有系统（包括其自身）进行评分；同族偏差是一个已知的限制，将在*局限性与未来工作* 中讨论。

LLM 评判架构*图 3: LLM 评估器流程。评估器在严格的 1-5 分锚定评分卡上运行，旨在对抗分数坍塌，并且必须在输出最终数字分数前输出详细的理由，以强制执行思维链分析。*

## 结果

我们通过 Open Paper 的“与论文对话”工具，以两种配置端到端地运行了该基准测试，针对八个 LLM：更智能的模型和更快的模型：gemini-3.1-pro-preview/gemini-3-flash-preview, gpt-5.4/gpt-4.1, claude-opus-4-7/claude-haiku-4-5，以及 Cerebras 托管的 gpt-oss-120b/zai-glm-4.7。每个系统回答了从数据集中均匀抽取的相同 100 行样本，每一行都由*方法*中描述的确定性引文指标和 LLM 评估器进行评分。聚合结果如下所示，按引文锚定和答案质量分数的复合指标排序。

| 模型 | 引文精确率 | 章节覆盖率 | 引文准确性 | 拒绝正确性 | 事实准确性 | 完整性 | 延迟 (秒) |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| gemini-3.1-pro-preview | 0.723 | 0.955 | 0.817 | 0.870 | 5.000 | 4.940 | 18.3 |
| gpt-5.4 | 0.647 | 0.902 | 0.834 | 0.783 | 4.970 | 4.870 | 12.3 |
| zai-glm-4.7 | 0.744 | 0.776 | 0.840 | 0.783 | 4.906 | 4.875 | 5.6 |
| gpt-4.1 | 0.776 | 0.755 | 0.786 | 0.870 | 4.910 | 4.730 | 10.9 |
| claude-opus-4-7 | 0.569 | 0.876 | 0.809 | 0.739 | 4.980 | 4.980 | 30.4 |
| claude-haiku-4-5 | 0.716 | 0.843 | 0.845 | 0.739 | 4.802 | 4.659 | 9.8 |
| gemini-3-flash-preview | 0.491 | 0.913 | 0.835 | 0.652 | 4.990 | 4.940 | 14.8 |
| gpt-oss-120b | 0.660 | 0.636 | 0.700 | 0.478 | 4.745 | 4.571 | 2.9 |
*表 1: 所有评估模型在 OpenPaper 基准测试上的聚合性能。模型按引文锚定和答案质量分数的复合指标排序。每列最佳分数以粗体显示。*

引文锚定指标具有区分度；评估器指标大体上饱和。拒绝正确性的跨提供者差异最大（0.478–0.870，在 0-1 分制上有 39 分差距），章节覆盖率次之（0.636–0.955，32 分差距）。引文精确率（0.491–0.776，28 分差距）和引文准确性（0.700–0.845，14 分差距）紧随其后。相比之下，LLM 评估器对模型的区分度要小得多：事实准确性（4.745–5.000