标签
ByteDance 与 University of Notre Dame 的研究者提出了 Drift-Bench++，这是一个用于评估 LLM 智能体在沟通误解与用户意图演化场景下交互式意图对齐能力的基准评测流水线，并配套提出了 GRIP 评测协议，结果显示智能体的表现仍远未达到 oracle 水平。
S3Gym是一个交互式基准测试，用于评估大语言模型通过文本游戏进行自我测试、自我评判和自我提升的能力，揭示了自我提升的效果因任务结构和经验表示方式而异。
本立场论文认为，交互式AI评估应被视为一种设计科学范式，提出了用于通过轨迹评估动态系统行为的双轴分类法和报告标准。
ClawForge 是一个基于生成器的基准测试框架，用于在状态冲突下生成可执行的命令行工作流，通过在17个场景中评估LLM智能体处理预先存在的部分、过时或冲突工件的能力。