标签
本文系统研究了三种前沿模型和三个长时程基准测试中 LLM 智能体框架（OpenCode）的上下文压缩，发现现有基准测试对“上下文压缩友好”，而压缩会悄无声息地丢弃任务约束和反作弊规则，其中真实用户指令被丢弃的频率约为构建规范的 6 倍。
该论文提出了ASAP，这是一个轻量级框架，用于通过交互式端到端任务评估预训练基础模型中的智能体行为，而无需将其转换为对话式智能体，展示了其在软件工程和深度研究基准上的区分能力。
斯坦福大学的研究人员开发了一种基于广义性理论（Generalizability theory）的贝叶斯方差分解框架，用于诊断 agent 基准测试的可靠性。研究发现，增加更多任务并不能消除由脚手架（scaffold）覆盖度不足所引起的不确定性，而整合多样化的基准测试才是获得可靠排名的更低成本途径。
介绍AgentSpec，一个模块化的规范框架，用于系统地组合和分析具身LLM智能体脚手架，揭示了性能取决于脚手架的兼容性和交互效应，而非孤立模块的强度。