@lateinteraction: 目前，我认为极少数长上下文基准测试中值得重视的两个是 OBLIQ-Bench…

X AI KOLs Following 新闻
long-context benchmarks recall expertise ai-opinion

摘要

一位评论者指出，OBLIQ-Bench（recall@k）和 StudyBench（expertise）是少数可靠的长上下文基准测试中的两个。

目前，我认为极少数长上下文基准测试中值得重视的两个是 OBLIQ-Bench（recall@k）和 StudyBench（expertise）。
查看原文

相似文章

通过PredicateLongBench理解长上下文任务的难度轴

arXiv cs.AI

本文介绍了PredicateLongBench，这是一个通过测试模型识别满足谓词的连续子序列的任务来系统性地探测长上下文推理的基准，揭示了前沿模型在多个难度轴向上扩展时表现困难。

基准测试对上下文压缩的适应性出乎意料地好

arXiv cs.LG

本文系统研究了三种前沿模型和三个长时程基准测试中 LLM 智能体框架（OpenCode）的上下文压缩，发现现有基准测试对“上下文压缩友好”，而压缩会悄无声息地丢弃任务约束和反作弊规则，其中真实用户指令被丢弃的频率约为构建规范的 6 倍。