@lateinteraction: 目前，我认为极少数长上下文基准测试中值得重视的两个是 OBLIQ-Bench…

X AI KOLs Following 2026/06/17 23:49 新闻

long-context benchmarks recall expertise ai-opinion

摘要

一位评论者指出，OBLIQ-Bench（recall@k）和 StudyBench（expertise）是少数可靠的长上下文基准测试中的两个。

目前，我认为极少数长上下文基准测试中值得重视的两个是 OBLIQ-Bench（recall@k）和 StudyBench（expertise）。

查看原文

相似文章

arXiv cs.AI

本文介绍了PredicateLongBench，这是一个通过测试模型识别满足谓词的连续子序列的任务来系统性地探测长上下文推理的基准，揭示了前沿模型在多个难度轴向上扩展时表现困难。

Reddit r/LocalLLaMA

LabyrinthBench是一个本地化、无需裁判的LLM基准测试，能够确定性地衡量多步骤智能体任务中干扰下的上下文记忆。初步实验表明，清空上下文并重新注入门控答案对9个模型中的7个有帮助，但对2个适得其反，凸显了上下文管理策略的复杂性。

Reddit r/LocalLLaMA

对13个本地LLM在65K-128K上下文下的广泛基准测试表明，预填充速度主导了代理工作负载性能（占实际时间的94-99%），使tg128指标具有误导性，并且KV头数量是比参数量或MoE/密集设计更关键的架构因素。

X AI KOLs Following

OBLIQ-Bench 是一个新的基准测试，揭示了当前检索系统在处理需要潜在或隐式推理的间接查询时的弱点，表明即使复杂的检索流程也无法提供相关文档，而这些文档是推理型大语言模型容易验证的。

Reddit r/AI_Agents

新的基准论文《SWE Context Bench》测试编码代理能否跨任务复用知识，凸显了现有基准仅评估孤立问题解决的不足。作者讨论了外部记忆等解决方案，并提到了 langmem、mem0、supermemory 和 Greplica 等工具。