如何测试一个长上下文推理系统？

Reddit r/ArtificialInteligence 2026/06/03 00:27 新闻

long-context reasoning testing evaluation needle-tests

摘要

一个关于测试能够跨100m+上下文进行近乎完美推理的系统的假设性问题，引发了关于如何证明其能力的讨论。

假设有人构建了一个能够跨极其大量的上下文（100m+）进行近乎完美推理的系统，并且在所有针眼测试中，它在MRCR V2上得分约为98%，你会用它做什么？假设该LLM只是更大系统中的一个组件，而非整个系统本身。你如何以一种难以被质疑的方式证明其能力？

查看原文

相似文章

arXiv cs.AI

本文介绍了PredicateLongBench，这是一个通过测试模型识别满足谓词的连续子序列的任务来系统性地探测长上下文推理的基准，揭示了前沿模型在多个难度轴向上扩展时表现困难。

arXiv cs.CL

WildTrace 是一个包含 481 个任务的基准测试，利用来自技术报告和叙事等长文档中的自然出现的证据轨迹。它评估了 18 个前沿系统，并表明即使是最好的系统（75.3%）在反事实分支和因果归因等推理密集型几何结构中仍存在困难。

arXiv cs.CL

本论文识别出长上下文LLM推理基准测试中的一个盲点：它们未能控制任务在上下文中的位置，导致位置失败未被检测到。作者提出上下文旋转评估（CRE）来系统地改变任务位置、填充内容和上下文长度，揭示出当推理任务放置在长上下文中时，某些模型的准确率会严重下降。

arXiv cs.AI

介绍RECON，一个用于评估基于LLM的智能体在长上下文中组合推理能力的基准测试，涵盖刑事、医疗和金融领域的24个案例文件。最佳非Oracle系统仅达到22.4%的准确率，揭示了当前记忆架构的严重局限性。

arXiv cs.AI

本文介绍了TranSGrid，一个集成演绎、归纳和溯因推理来评估AI中系统泛化的测试平台。使用Transformer的实验表明，当前的任务忽略了基本的推理方面，导致在所提出的测试平台上出现性能差距。