标签
本文评估了冻结的视频表征,发现视频世界模型中的潜在预测误差反映的是外观和运动,而非可靠地衡量物理意外性,并提出了一个在 IntPhys2、Physion++ 和 Kubric 基准上将表征内容与误差信号分离的框架。
CEPO 是一个用于多智能体系统提示词优化的通用框架,它将共享的系统级协调与智能体专属的执行提示词分离,在四个领域的 11 项基准测试中,持续提升了四种现有提示词优化器的表现。
本文提出两个可度量的前提条件——验证器强度与可恢复性,用于判断智能体平台何时能够在无人监督的情况下安全地执行自我改进步骤,并在一个已部署的平台和 τ²-bench 基准上对这两个条件进行了验证。
OpenAI 发布新模型能力,显著提升在 COBOL、Fortran、Visual Basic 等低资源编程语言上的构建与迁移表现:GPT-6 Astra 在 MultiLangBench 20 种语言上平均通过率达 87.4%,GPT-6.1 Sol 的 COBOL 迁移准确率最高达 97.9%,且成本更低。
HarnessPro 提出一种无标签的递归自改进方法,通过轨迹诊断与加权 Pareto 选择生成 lite/medium/heavy 三档 harness,在 Terminal-Bench 2、SWE-Bench Pro 等基准上相比 RHO 平均提升 2.0 个百分点通过率并降低 26.1% 单任务成本。
Oracle AI 和宾大的研究者对数据智能体中的三种上下文工程技术(语义层、编排、压缩)进行系统研究,发现这些技术的效果高度依赖智能体的行为分组(调查者、过早作答者、早期放弃者),某些情况下甚至会损害准确率。
RSIFlow 提出一种递归自我改进框架,通过诊断任务执行反馈动态选择组件级改进工作流,并演化元智能体以优化编排能力,在六个基准上达到 SOTA 平均性能。
本文研究了将 LLM 推理与密集检索器相结合、通过 ReAct 循环完成复杂检索任务的智能体式检索方法。实验表明,该方法在 nDCG@10 上比标准检索提升 8.7 分,并在 ViDoRe v3 和 BRIGHT 排行榜上展现出良好的泛化能力,但代价是每条查询平均耗时 107.4 秒、消耗 764K 输入 token。
论文揭示了自我进化推理模型性能崩塌的原因——无效问题与数学上等价的问题重复,并提出 R-Quest,利用有效性与新颖性反馈来维持自我进化,在 12 个基准上经过十轮迭代后,比 R-Zero 高出 17.32 分。
Kepler 是一个面向 ARC-AGI-3 的开源框架,它将假设表示为可执行的世界模型,并通过回溯性的状态转移与预测检查对其进行验证,在冻结的 Claude Opus 5 配置下,于全部 25 个公开游戏上取得了经服务器验证的 100.00 RHAE。论文同时报告了三类评估失败——源代码泄露、框架重构以及自主修复掩盖了失效的规划器——并指出仅凭公开集分数其鉴别力有限,因此主张采用首试成绩、成本条件化以及验证感知的报告方式。
JevSpawn 提出一种组合式策略,将自然语言任务描述映射为有限概率探索,通过并行动作生成与基于反馈的分支选择,在无需额外训练的情况下加速并提升大语言模型智能体的推理性能;该方法在八项基准任务上与七种基线方法进行了对比评估。
该论文研究了参考答案(gold reference)的选择对多语言基准评测分数的影响,发现交换参考标注可使F1分数移动数个点,并揭示了一个未记录的标注聚合默认设置导致参考答案与被评输出部分重合的问题,提出应将参考敏感性区间与分数一同报告。
论文表明,关键词匹配基准测试可能会将小语言模型并不具备的工具使用能力归功于它们;文章记录了一例针对同架构西班牙语安全 LLM 的误报,并提出了一种成本低廉的诊断阶梯,以及一份有针对性的 SFT 配方,用于修复出问题的 1B 模型。
该论文提出 RASO(检索增强技能优化)框架,通过 Cross-Harness Adaptation 从外部技能语料库中检索先验知识来初始化和迭代优化 agent 技能,在四个 agent 基准和两个模型上显著优于无检索增强的基线方法。
本文介绍了TW3Cast,一个时间序列预测系统,它使用基于轻度微调基础模型的冻结路由器,在GIFT-Eval基准上取得顶尖性能,且无需代理或语言模型
本文审计了多语言情感生成基准测试,揭示系统排名由测量伪影而非真实性能差异驱动,标注者变异性在其中扮演关键角色。
Vals AI 对 Grok 4.7 进行了评估,发现其在 Vals 指数中排名第 24,得分 54.2%,较 Grok 4.6 下降,但在法律和医疗领域显示改进。
本文提出了RoboDawn,一种将视觉语言模型智能迁移至机器人控制的方法。该方法通过零样本和单样本学习在基准测试中取得了先进结果,并在真实世界应用中验证成功。
一项耶鲁大学主导的论文发现,前沿AI模型在物理基准测试中表现不佳,主要是由于基准测试的缺陷,而非模型本身的局限性,这表明基准测试质量是准确评估的关键瓶颈。
本文提出CLEAR,一种用于跨源证据裁决的代理框架,旨在通过处理来自多个知识源的冲突来提升医学领域大语言模型的性能。该框架在多个基准测试中表现出竞争力,在直接推理或检索能力较弱的场景中取得了显著提升。