Tree-of-Concerns：用于科学批评中未声明限制提取的分层多智能体辩论

# 关注点树：面向科学批判中未述局限性的层级多智能体辩论框架  
来源：https://arxiv.org/html/2608.20777  
Sahil Mishra https://orcid.org/0000-0001-5477-9003  
Niranjan Rajeev https://orcid.org/0009-0004-4309-5537  
Tanmoy Chakraborty https://orcid.org/0000-0002-0210-0369  
所属单位：印度理工学院德里分校电气工程系  
联系邮箱：\{sahil\.mishra, niranjan\.rajeev, tanchak\}@ee\.iitd\.ac\.in  

###### 摘要  
随着科学文献的增长及论文对局限性的报告日益不足，多智能体大语言模型为系统性地揭示这些隐藏的失效模式提供了可行路径。本文提出**关注点树（Tree-of-Concerns）**，一个多智能体框架。该框架部署专注于特定类别的怀疑者角色，每个角色通过特定的分析视角作为并行辩论树，从科学论文中提取未声明的局限性。每个角色进行结构化、基于证据的论证，而**小组评审（Panel Review）** 机制从五种视角重新评估每项存续的论断，以校正类别漂移和严重性误判。基于我们的基准数据集**ToC-Bench**——包含来自审稿人指出的缺陷及后续引用批评的414篇研究论文和1905项未声明的局限性——进行的实验表明，与最强基线相比，关注点树在精确度上提升了79%，在覆盖率上提升了11%，能够提出具体、基于证据的关注点，支持审稿人进行系统性评估。  

## 1 引言  
由于激励错位、篇幅限制及作者的认知盲点，科学论文系统性地低估其局限性 [11] [25]。近期一项分析发现，NeurIPS 2023论文局限性章节中，73%的审稿人指出的缺陷并未被提及 [19]。这一缺口给同行评审人员带来了难以承受的负担——他们必须在截止日期前独立识别这些未被承认的问题。然而，其影响远超评审流程本身。当局限性未被声明时，从业者可能在其有效范围之外应用方法，导致隐性生产故障，并加剧机器学习领域更广泛的可复现性危机 [15] [22]。因此，一种能系统性揭示这些隐藏局限性的方法，对于支持同行评审流程以及更广泛的研究与部署管线至关重要。  

图1：针对论文P的局限性分类体系，涵盖**范围（Scope）**、**方法（Method）** 和**可复现性（Reproducibility）**。绿色对勾：未声明的局限性；红色叉号：用户/审稿人已声明的局限性。  

为解决这一瓶颈，自动化科学批判成为一项有前景的方向。DIAGPaper [33]、MARG [8] 和 AgentReview [13] 等系统部署基于大语言模型的智能体生成类评审反馈。然而，这些系统旨在**复制**人类评审的风格和覆盖范围，而非系统性地提取作者未能声明的局限性（对比图1）。这一区别至关重要，因为优化以匹配人类评审分布的系统会自然倾向于评审人员提及的相同显著问题。此外，近期研究表明，标准的多智能体共识机制常因固有的从众性而受影响——智能体过度受多数意见影响并传播错误，而非进行严谨的独立验证 [4] [28] [2]。若缺乏专门的分析视角和保持观点多样性的机制，朴素的智能体群体容易过早同质化并陷入群体思维 [29]，无法揭示更深层、更具体的问题。  

当前阻碍从“评审复制”转向“真实局限性发现”的两大核心差距如下：首先，**目前缺乏评估未声明局限性提取能力的基准测试**。现有数据集如PeerRead [14]、NLPeer [7] 和 AAAR-1.0 [21] 提供了一般的评审文本，但缺乏针对未承认缺陷的外部标注金标准，无法进行严格评估。其次，**尚无多智能体框架支持跨智能体协调的单论文批判**。尽管“辩论树”（Tree-of-D Debate）[16] 展示了辩论的价值，但其同质智能体在成对比较中运行，不可避免地收敛于明显缺陷，而非探索多样、复杂的失效模式。  

为弥合这些差距，我们提出三个设计原则：  
1. **专门化角色防止批判群体思维**：在无约束情况下识别局限性时，通用大语言模型会倾向于作者通常自行报告的相同显著方法论问题。我们探索使用专门的怀疑者角色，每个角色被限定在独特的分析视角（范围、方法、理论、可复现性、公平性）内。通过强制智能体在狭窄的失效模式约束下评估论文，我们打破了已声明局限性的引力，促进了真正新颖、未声明问题的发现。  
2. **树状辩论压力测试并深化论断**：单次生成不足以进行严谨批判，因为大语言模型常虚构缺失的基线或提出易被驳斥的关注点 [10]。我们提出将局限性发现转化为树状对抗辩论。在每个节点内，“论文倡导者”智能体会攻击怀疑者的论断，迫使其撤回无效论断或用更强证据进行修订。若论断存续并暗示更深层的结构性问题，主持人将其扩展为子节点，允许对复杂的、多层次的缺陷进行深度优先探索。  
3. **跨分支协调解决类别漂移**：隔离专门分支虽能防止过早共识，但也引入了新的失效模式：跨分支冗余（例如，范围与方法论怀疑者从不同角度发现同一问题）和类别漂移（例如，理论怀疑者将范围问题错误标记为证明缺口）。由于隔离的树缺乏全局上下文，我们提出事后小组评审机制。该机制整体评估汇总的批判，标记跨类别重叠，重新校准被高估的严重性，并重分类漂移类别，以产出统一、连贯的输出。  

我们将上述原则整合为**关注点树**，一个新颖的框架，动态部署五个专门化的并行辩论树。每个角色执行结构化的四阶段论证循环（论断、倡导者回应、修订、主持人介入），并由论文直接证据支撑。由于在没有专用数据集的情况下无法严格衡量未声明局限性提取的进展，我们将框架与**ToC-Bench**数据集的引入相结合。  

我们的贡献总结如下：  
1. **我们引入了ToC-Bench**，这是首个专为未声明局限性提取设计的基准测试。它包含414篇论文的1905个金标准局限性，来源于同行评审指出的缺陷及后续引用批评，规模约为可比多智能体科学批判基准测试的两倍 [16]。  
2. **我们提出了关注点树**，一个层级多智能体框架，将专门化的并行辩论树与逐节点对抗性过滤机制相结合，以提取深入、基于证据的批判。  
3. **我们引入了小组评审**，一种跨分支协调机制，整体审查并行输出，以解决冗余、纠正类别漂移并校准严重性。  
4. **通过严格评估，我们证明关注点树在ToC-Bench上实现了36.1%的Coverage@10和40.3%的精确度**，相较于最强基线，在精确度上提升了79%，在覆盖率上提升了11%。  

## 2 相关工作  
### 2.1 多角色大语言模型辩论  
多智能体辩论框架利用结构化分歧来增强推理并减少幻觉 [6] [18] [27]。基于“心智社会”传统 [32]，这些系统通常分配基于立场的角色来裁决现有主张 [12] [1]，或进行论文成对比较，如“辩论树”[16]。**关注点树**用严格的失效模式专门化取代了通用立场，并部署独立的并行分支来**生成**并压力测试新颖的未声明局限性，而非裁决现有局限性。  

图2：**关注点树**框架。五个并行的怀疑者分支通过对抗辩论压力测试候选局限性；随后**小组评审**协调存续的论断，以解决跨分支冗余。  

### 2.2 自动化论文批判  
近期大语言模型框架通过模拟评审者-作者对话、元评审和结构化提示来自动化科学批判 [30] [20] [8] [13] [33]。由于它们旨在**复制**人类评审，这些系统倾向于已被作者承认的表面问题 [26] [19]。**关注点树**突破了这一复制范式：我们不生成广泛的元评审，而是部署专门的对抗性辩论树，明确过滤掉作者自报的缺陷，以揭示深层、**未声明**的科学缺口。  

### 2.3 科学文本基准测试  
现有的评审生成 [14] [7] [30] [23] [21] 和文档推理 [24] [5] [3] 基准测试混合了已声明和未声明的缺陷，使得模型可以通过转述自报缺陷来虚增分数。**ToC-Bench** 利用外部同行评审及引用证据来隔离**未声明**的局限性，从而实现严格评估。  

## 3 关注点树框架  
如图2所示，**关注点树**通过专门的对抗辩论，系统性地提取论文中未被承认的局限性。  

### 3.1 问题形式化  
给定表示为完整文本（标题、摘要、章节、以图注描述的图片及参考文献）的科学论文P，我们的任务是产出一组局限性记录 L=\{l_{1},l_{2},\ldots,l_{n}\}，其中每条记录 l_{i}=(\text{claim}_{i},\text{cat}_{i},\text{sev}_{i},\text{ev}_{i}) 包含：  
- 描述局限性的自然语言论断 (claim)  
- 类别标签 \text{cat}_{i} \in \{\text{scope, methodology, theoretical, reproducibility, fairness}\}  
- 严重性评级 \text{sev}_{i} \in \{\text{major, minor}\}  
- 支持论断的论文文本证据引用 \text{ev}_{i}  

### 3.2 设计原则：专门化批判  
**关注点树**背后的设计原则源于一个简单的观察（第5节）：通用大语言模型批判论文时会激活与其作者相同的分析模式，其输出集中在方法和范围上，而理论、可复现性和公平性关注点则基本未被探索（附录A）。**专门化**打破了这种引力。通过将每个智能体限定在狭窄的、特定失效模式的视角内，框架绕过了这些显著的批判点，迫使发现真正未声明的关注点——这些关注点与通用基线可能揭示的内容重叠极小，这支持了“专门化能恢复根本不同的局限性，而非通用输出的精选子集”的论点（附录P）。  

#### 3.2.1 构建角色  
为实现这一点，我们实例化五个独立分支，由专门的系统提示（附录B）驱动，这些提示定义了其分析范围，提供了目标示例，并明确指示智能体忽略已声明的局限性。  
- **范围怀疑者（Scope Skeptic）**：该角色检查论文的主张是否能在其实验条件之外泛化。它审视数据集覆盖范围、领域适用性、语言多样性、规模假设，以及声明贡献与证据之间的差距。它识别作者将结果框架为通用而证据仅支持狭窄结论的情况，标记未声明的部署假设。  
- **方法论怀疑者（Methodology Skeptic）**：该角色评估实验设计、基线、评估指标、统计严谨性和消融完整性。它识别缺失的控制、不公平的比较、缺失的方差报告、精心挑选的指标以及虚报性能的方案。它追问：考虑到这些方法选择，实验证据是否支持论文的结论？  
- **理论怀疑者（Theoretical Skeptic）**：该角色检查形式化主张、证明假设、复杂性分析和逻辑一致性。它识别未声明的理论假设、形式化保证与实现之间的差距，以及实证结果与理论矛盾的情况。它适用于具有形式化贡献的论文，在缺乏理论内容时弃权。  
- **可复现性怀疑者（Reproducibility Skeptic）**：该角色评估论文是否提供了足够的细节以供独立复现。它检查超参数、数据预处理、计算需求、随机种子以及代码/数据可用性。它识别被省略的实现选择或结果依赖于未公开配置而无法忠实复现的情况。  
- **公平性怀疑者（Fairness Skeptic）**：该角色评估论文未涉及的社会影响、偏见和伦理影响。它审视数据集构成中的人口统计学偏见，考虑双重用途潜力，识别受害群体，并标记评估缺乏子群体公平性的情况。其校准旨在避免通用关注点，并将每项主张基于特定论文内容。  

虽然开发这五个角色是为了全面把握论文，但我们的框架具有高度可扩展性，允许根据需要无缝引入额外的专门怀疑者。  

### 3.3 树状结构与分支独立性  
这五个怀疑者角色作为严格并行、独立的树运行。预