WILDTRACE: 对长上下文推理中自然证据轨迹的基准测试

# WildTrace：长上下文推理中的自然证据踪迹基准测试  
来源：https://arxiv.org/html/2607.09328  

**Zixin Chen**<sup>1,2</sup>（注：工作实习于Qwen团队期间） **Peng Liu**<sup>2</sup> **Haobo Li**<sup>1</sup> **Rui Sheng**<sup>1</sup> **Jianhong Tu**<sup>2</sup>  
**Xiaodong Deng**<sup>2</sup> **Fei Huang**<sup>2</sup> **Kashun Shum**<sup>1,2</sup> **Dayiheng Liu**<sup>2</sup> **Huamin Qu**<sup>1</sup>  
<sup>1</sup>香港科技大学 <sup>2</sup>Qwen团队，阿里巴巴集团  
[email protected]  

###### 摘要  
回答长文档中的复杂问题，通常需要整合那些分散在相隔较远的段落、由来源本身自然散布的证据。在一份事故报告中，共同解释某场灾难的运行条件、设计缺陷和被忽视的安全检查可能分别出现在几十个章节之后；在一部小说中，一个人物的真实动机可能只有在与其相关的场景过去很久之后才通过其他场景浮出水面。这种源内部证据整合是现实世界中长文档分析的核心，但现有基准很大程度上避开了这一点。针探测、植入事实和反向工程的多跳链所嵌入的证据，可能在分布、位置或语域上与宿主文本不同，这使得优异表现究竟是源自真正的源推理还是分布性伪影变得不明确。我们引入了 **WildTrace**，一个包含 481 个任务的基准，覆盖 214 个自然形式的长文本来源（如技术事故报告和较不知名的文学叙事），其中所有证据踪迹都源自文档自身的因果、时间和叙事逻辑。借鉴 Pearl 的因果层次和现有体系化知识，我们定义了七种源内部证据几何结构，这些结构描述了长文档中分析性阅读所提出的不同关系要求。我们采用“源优先”的构建流程：先挖掘文档结构中的候选踪迹，再编写问题；随后每个项目都经过多阶段验证，涵盖线索必要性、答案依据性、评分细则忠实性、抗污染性和可回答性。在证据隐藏的条件下评估了 18 个前沿系统，最强系统达到 75.3%，但在需要密集推理的几何结构（如反事实分支和因果归因）上表现明显薄弱。尽管具备足够的上下文容量，这些失败依然存在。随着模型被越来越多地委以现实世界中高强度的分析任务，访问信息与在自然散布的证据上进行推理之间的差距，正成为长上下文研究下一阶段的关键挑战。  

## 1 引言  
长文档推理并不仅仅是获取更多的 token 并从中检索。针对某一分析问题，模型必须判断哪些普通文本片段是支撑性证据，哪些同语域细节是干扰项，以及有哪些因果、时序、比较、溯因或反事实依赖关系使得所选片段共同支持一个答案。在文学分析中，一个人物的动机可能并不存在于决定行动发生的场景中，而可能只有通过连接一个早期的承诺、一个后来的矛盾以及一个延迟的后果——这改变了早期场景的解读方式——才能得到证实。结构化的技术文档在更程序化的语域中提出了同样的负担。即使一份报告包含发现、标题、表格和交叉引用，一个后续问题可能需要连接一个运行条件、一个设计约束和一个审查遗漏，而其依赖关系并没有被包装成该查询的答案。相关的段落或许都可以找到，但任务在于还原它们为何共同支持该结论。  

许多现有评估测量了重要的相邻能力，但它们通常以某种方式控制证据环境，从而降低了证据发现和关系还原的负担。针式探测和受控长上下文探测测量了访问能力、位置敏感性、聚合性和鲁棒性，但相关事实是被插入的或以其他方式受基准控制 [Liu 等人，2024](https://arxiv.org/html/2607.09328#bib.bib20)；[Hsieh 等人，2024](https://arxiv.org/html/2607.09328#bib.bib2)；[Kuratov 等人，2024](https://arxiv.org/html/2607.09328#bib.bib5)；[Li 等人，2024b](https://arxiv.org/html/2607.09328#bib.bib40)。预选段落和检索驱动的设置测试了模型是否能使用提供的支持，但任务接口已经决定了哪些段落是重要的 [Bai 等人，2024](https://arxiv.org/html/2607.09328#bib.bib1)；[Yen 等人，2024](https://arxiv.org/html/2607.09328#bib.bib19)。组合多跳数据集测试了桥接追踪、比较和抗捷径推理，但其链条通常是围绕目标答案拼装或反向工程出来的，而不是从原始来源自身的叙事、程序和逻辑结构中恢复的 [Yang 等人，2018](https://arxiv.org/html/2607.09328#bib.bib21)；[Ho 等人，2020](https://arxiv.org/html/2607.09328#bib.bib23)；[Trivedi 等人，2022](https://arxiv.org/html/2607.09328#bib.bib22)。  

这种权衡并非仅仅是哲学上的。先前的分析显示，名义上的多跳问题可能通过单跳证据或数据集伪影就能回答，而长上下文性能可能严重依赖于证据出现的位置以及查询与目标文本的匹配字面程度 [Min 等人，2019](https://arxiv.org/html/2607.09328#bib.bib49)；[Chen 和 Durrett，2019](https://arxiv.org/html/2607.09328#bib.bib50)；[Gururangan 等人，2018](https://arxiv.org/html/2607.09328#bib.bib51)；[McCoy 等人，2019](https://arxiv.org/html/2607.09328#bib.bib52)；[Liu 等人，2024](https://arxiv.org/html/2607.09328#bib.bib20)；[Modarressi 等人，2025](https://arxiv.org/html/2607.09328#bib.bib6)。因此，插入或局部化的证据可能引入构造线索——位置、词汇重叠、证据密度或与周围文本的风格不匹配——而当相关片段是自然编写在来源中时，这些线索未必存在。在下游分析使用中，支持证据很少是为查询预先标记的：分析师交给模型一个来源，要求它得出一个可从中得到证实的结论。因此，缺失的评估边界并不是孤立的长上下文或多跳推理，而是全文档、证据隐藏的源诱导证据踪迹推理：决定什么算作证据，保留它为什么算作证据，并推理使证据支持答案的依赖关系。  

我们引入了 **WildTrace**，这是一个针对长上下文中自然证据踪迹进行多跳推理的基准。一条自然证据踪迹是一组来源内部的线索和关系，它们共同支持一个答案，线索布局和推理依赖都由文档自身诱发。因此，WildTrace 是源优先而非问题优先构建的。从 214 个公开的长上下文来源（包括技术事故报告和较不知名的文学叙事）开始，我们将每个来源切分为重叠窗口，将局部上下文转换为证据记录——实体、事件、属性、时间标记、引文、局部关系和简短摘要——并将这些记录连接成一个带类型的源内部图。仅当周围源文本支持所连接事实之间的关系时才添加边。然后，特定几何结构的查询为七种证据几何结构（前向链、交汇、比较、时间重构、因果汇聚、溯因解释和反事实分支）挖掘自然出现的踪迹。只有在这样的踪迹被确定后，我们才编写公开问题、参考答案、关键事实和标准级评分细则。在构建过程中，这个源优先流程实例化了 3,506 个经验证追踪的候选踪迹-问题条目。候选挖掘设计为高召回率：一个踪迹只有经过验证才能成为基准条目。  

自然的长上下文问题可能看起来是多跳的，但仍然可以从单条局部线索、公共常识、一个不受支持的事实或与指定几何结构不同的推理模式来回答。因此，我们围绕四个威胁基准忠实性的方面组织了晋升流程：源依据性、多跳必要性、抗捷径性和可回答性。依据性检查验证答案、关键事实、证据片段和评分标准是否得到来源支持，并奖励对答案至关重要的关系，而非装饰性细节。必要性和捷径检查使用留一法和单线索消融实验来拒绝那些仅凭证据真子集就能得到唯一答案的项目，而具体几何结构审查则拒绝关系坍塌。无文档探测过滤了污染和公共知识捷径。证据条件检查验证隐藏的踪迹在提供时是否足够，而人工主导加外部审计则捕获无依据事实、冗余线索、歧义答案和几何结构不匹配。经过这些筛选后，公开版本（[公开数据集发布](https://huggingface.co/datasets/CinderD/wildtrace)）保留了 214 个长文档来源上的 481 个通过任务，存活率为 13.7%。  

我们使用三位非参赛判官，在全文、证据隐藏的提示条件下评估了 18 个前沿系统。最强评估系统达到 75.3%，即使对于前沿长上下文模型也留下了相当大的提升空间。主要结果并非头牌排名，而是对源内部推理在哪些地方失效的诊断性描述。模型常常给出局部合理的答案，但未能满足证据关系：它们命名了正确的实体，却丢失了消除歧义的约束；恢复了某一条局部故事，但错过了关键的比较；列举了看似合理的因果成分，却没有使它们具备解释力的依赖关系；或者跟随了事实路径，却丢失了反事实分支。性能也随来源族、上下文层级和证据几何结构而变化。这些模式表明，瓶颈不仅在于模型端点能摄入多少上下文，还在于模型是否能通过选择正确的源片段并保持它们之间的关系，将自然证据踪迹转化为有充分依据的答案。  

我们的贡献有三方面：  
- **源内部的长上下文推理表述**。我们将自然证据踪迹定义为源诱导的分散证据配置，它们共同支持一个答案，并将其组织为七种证据几何结构，每个结构捕捉独特的关系要求。  
- **源优先、有效性门控的基准发布**。WildTrace 包含 214 个长文档源文件上的 481 个任务，从 3,506 个经验证追踪的候选中蒸馏而来。证据结构在问题编写之前被识别，每个发布项目都经过来源支持、证据必要性、可回答性、评分细则忠实性和几何结构一致性的多阶段检查。  
- **前沿系统的诊断评估**。我们在全文、证据隐藏协议下评估了 18 个系统，采用标准级多判官评分。结果显示了相当大的剩余空间、系统性能随文档规模的变化，以及不同证据几何结构下的不同推理概况。  

## 2 WildTrace 基准与评估设计  

### 2.1 运行示例：定位证据还不够  
我们从一个任务案例开始，因为它展示了 WildTrace 评估的全部能力：精确的证据定位、源依据支持，以及使分散线索共同回答问题的依赖关系推理。图 1（[https://arxiv.org/html/2607.09328#S2.F1](https://arxiv.org/html/2607.09328#S2.F1)）展示了一个来自约 950K token 文学来源的锁定 L6 比较项目。在测试时，模型收到完整的小说和一个公开问题，要求它比较两个遥远的片段，其中缺失的通信使一个无辜的角色显得道德上有罪：Jack Tanerton 在 *Rose of Delhi* 上的航行，以及 Mamie Lee 与 James West 争议的婚姻。答案关键的证据并不局限在一个段落。两个早期窗口（9.2–9.3%）确立了 Jack 的表面过错和 Aunt Dean 压制本来可以解释他的信件；三个较晚的窗口（80.2–81.6%）确立了 Mamie 的表面过错、该判断的文件反转以及失败的战时联系路径。模型不能仅仅检索这些窗口或重复它们的共同主题。满分答案是一种机制层面的比较。Jack 的表面不服从是故意压制造成的：Aunt Dean 阻止相关信件到达收件人，使 Jack 的离开看似故意。Mamie 的表面罪责则以不同的方式被推翻：婚姻的文件证据和 James West 失败的联系路径解释了为什么沉默不是遗弃。一个只恢复了一个片段、或者说两个案例都涉及缺失通信的回答，虽然相关但不完整。它识别了共同的表面框架，却错过了机制层面的比较：Jack 的虚假罪责是由信件的故意压制造成的，而 Mamie 的则是通过文件证据和失败的战时联系得到解决。  

构造产物将这个机制层面的要求转化为一个可检查的基准项目。它存储了五个承载证据的源窗口、窗口内的有依据片段、带类型的比较关系、一个参考答案、标准级评分细则和留一法检查。移除 Jack 的窗口会移除故意压制机制；移除 Mamie 的窗口会移除文件反转和失败联系机制；移除对比则剩下两个局部情节摘要，而不是请求的比较。这些产物用于验证和评分，但对被评估的模型是隐藏的。模型只看到完整的来源和公开问题，并且只有定位到正确的证据并保持使答案有依据的跨案例关系，才能获得满分。  

**任务卡片：比较证据踪迹**  
任务 ID: johnny_ludlow_series_1_2_early3_b5c-comp-r238-0001  
任务：比较两个遥远的片段，其中缺失的通信使一个无辜的角色看起来道德上有罪：Jack Tanerton 在 *Rose of Delhi* 上的航行，以及 Mamie Lee 与 James West 争议的婚姻。  
金标准：  
- Jack：Aunt Dean 烧掉了 Jack 的告别信和校长的禁止航行信，因此 Jack 被错误地判断为违抗了他从未收到的拒绝。  
- Mamie：James 的布里斯托尔证书证明了婚姻，而他寄往爱尔兰的信件以及战场受伤解释了他的沉默为何不是遗弃。  
- 对比：两个片段都通过通信证据逆转了道德责任，但机制不同：故意压制与缺失证据及失败的战时联系。  

锚点：  
- C1 @ 9.2%，隐藏的拒绝：Aunt Dean 烧掉了 Jack 的告别信和校长的禁止航行信。  
- C2 @ 9.3%，道德后果：Jack 被视为不服从，几乎被剥夺继承权。  
- C3 @ 80.2%，表面过错：Mamie 带着孩子回来但没有结婚证，使她的主张可疑。  
- C4 @ 81.5%，文件证据：James 带着证明婚姻的布里斯托尔证书回来。  
- C5 @ 81.6%，缺失联系：James 的爱尔兰信件、受伤和退役解释了沉默。  

路线测试：  
- C1 给出故意压制，C2 给出其道德影响，C3 制造 Mamie 的表面罪责，C4 用证据推翻它，C5 解释失败的联系；答案必须对比这些机制，而不仅仅是命名缺失通信。  

PASS:  
- Gemini-3.1-Pro 96.7  
机制对比：Jack 的虚假罪责是由 Aunt Dean