标签
该论文研究LLM在经典规划问题上的失败，发现传统delete-relaxation启发式h_add在估计结构难度上远优于ARC等学习模型，而通过逐步重命名谓词的受控实验表明LLM规划成功率随语义可解释性下降而从67.5%降至40.0%，指出混合规划系统的关键在于建模LLM的语义行为而非改进结构难度预测器。
该论文提出记忆中心持续学习（MCCL）框架，主张 agent 记忆应以是否改善未来行为来评判，而非仅看检索效果，并给出三轴分类法、双循环生命周期、评估协议与记忆扩展框架，以实现自主 agent 的持续自我改进。
PAPAV 提出了一个以能力为核心的统一框架（感知、预判、规划、行动、验证），用于对比多模态具身智能体、计算机使用智能体与机器人系统，并基于 64 个基准揭示了预判与验证能力评估的显著缺口。
论文提出开源 RAG 受控评测框架 LASAGNA，在八个基准和 5K-200K 文档语料上测试 450 种配置，发现单独有效的 RAG 技术组合后收益大幅缩水（预期 +47% 仅得 +17%），检索质量与答案忠实度的设计取舍互相冲突，且最优组合随语料规模变化。
Quant-Arena 推出了一个端到端基准和公开排行榜，用于评估 LLM 智能体能否基于历史 A 股数据构建盈利的交易策略，并且这些策略能否泛化到一个完全密封的未来年份。在九个前沿模型中，GPT-6 Astra 得分最高，但没有任何模型在 2024 年跑赢等权重市场组合。
作者分享了一篇 Towards Data Science 文章，介绍如何将成本、质量和延迟整合为单一的凸函数评分，用于评估 AI 智能体——把业务约束转化为数学公式，从而指导智能体优化，而非依赖临时性的提示词调优。
一篇文章对比了两个智能体软件工程基准 —— Frontier Code v1.1 和 Terminal Bench v4，并探讨了为何 Kimi K3 在其中一个基准上表现出色，却在另一个基准上表现不佳。
HABIT-Bench 是一项新基准，用于评估 LLM 智能体能否从记忆中长期积累的微弱证据中归纳出用户在饮食、金融、软件和旅行领域的习惯。使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 对八种记忆方法进行评估后发现，它们在四选一任务上的宏平均准确率仅为 33.61%，表明回忆历史并不等于知道应以什么来指导决策。
RoboCasa-Shift 提出一个基于 RoboCasa365 的阶段感知鲁棒性基准，通过配对执行轨迹与受控扰动评估视觉-语言-动作（VLA）策略在长程家务操作任务中的表现，发现失败模式随扰动因子和任务而异，并非均匀退化，主张鲁棒性应作为执行的多维属性而非单一端到端指标衡量。
StreamEval 是一个面向交互式流视频生成的统一基准，涵盖五个任务和 300 个测试用例，评估了 37 个模型，发现高视觉质量并不等于可靠的任务执行与状态一致性，请求执行仍是主要挑战。
Office Intelligence 为办公场景中长时间运行的 AI Agent 工作引入了研究环境、框架与评估体系，涵盖文件系统、终端工具、文档、电子表格、聊天和邮件等功能，运行于一个模拟的对账工作流之中。
Contrary Research 的报告探讨了 LMArena 等 AI 基准测试如何在强化学习优化下沦为刷分目标，运用古德哈特定律论证基准测试的提升已不再反映真实世界的能力进步，并呼吁开发新一代更难被博弈的评估体系。
LangChain 分享了一个案例研究，介绍 Numan 如何基于 LangGraph 和 LangSmith 构建 Nu——一款以评估为先的 AI 健康教练，通过超越静态单轮评估和脚本化多轮评估，转向具备对话感知能力的评估框架，从而顺利应对医疗器械监管要求。
Salesforce 的新论文通过 2,500 多次跨方 agent 会话发现，代表不同利益方的智能体从不主动核实彼此的说法，导致团队继承最弱 agent 的错误，并归纳了 20 种失败模式。
一场关于初级工程师职业建议的讨论，强调系统思维、衡量成果，以及在使用 AI agents 时构建评估体系。
whatmodel.sh 的作者分析了 1,629 个已发布的基准测试结果，发现 AI 实验室自报的分数平均比独立测试机构高出 6.4%，相关数据集与代码均已开源。
本文作者探讨了RAG评估应如何区分系统回答"我不知道"的三种不同原因——检索失败、证据缺失和来源冲突——并提出了一种评估方法，该方法标注的是期望的未解决状态，而不是简单地将答案判定为正确、错误或拒绝回答。
亚马逊新论文提出 FEB-30 基准，包含 30 条预设事实历史（147 篇文档），揭示基于 QA 的 Agent 记忆基准可能掩盖损坏的记忆存储——两种评估方式平均相差 16.8 分，且在 21% 的案例中结论不一致。论文建议在每次更新后直接验证已存储的事实。
Artificial Analysis 上线了 DeepSeek V4.1 Flash 1017 (Max) 的评测页面，涵盖 Intelligence Index v4.3.2 的 10 项基准测试、能力指数，以及智能与成本的对比分析。
该论文提出一种“能力导向评估”（CBE）新范式，通过参数化生成器与答案保持不变的表述变体，检验大语言模型能否在同类问题族中稳定应用同一推理能力，并在六个 GPT 与 Qwen 模型上发现即使强模型也无法通过能力条件。