标签
一篇评论文章,回应 Anthropic 发布的客座文章,后者介绍了 BootLoops——一系列工具,其中由 Claude 生成的计算在技术上是正确的,但只有在领域专家重新引导问题之后才获得了科学意义。文章主张,在把 AI 输出称为一项发现之前,算术验证与相关性/新颖性判断需要分别由专家独立审核;同时也指出,该客座文章的作者是 Anthropic 的访问研究员,而非独立基准测试者。
ScienceBuddy:面向交互式科学代理的递归式递归自我改进。介绍了一个将使用者纠错转化为带评分测试任务的科学 AI 代理框架,通过交替改进提示/技能与重新训练模型,把生物学任务准确率从 42.2% 提升到 73.3%。
论文提出 MM-FinEval,一个针对真实世界金融预测的多任务多模态基准,涵盖2019-2022年S&P 500公司的2,045次财报电话会议,包含文本转录、演示幻灯片和音频三种模态,并设有12项金融任务标签,用于评估19个多模态基线模型。
本文审计了梯度冲突指标(余弦相似度、冲突率)是否真正能够预测统一多模态模型中的理解—生成权衡。作者构建了一个受控测试平台(GridUMM),在其中真实权衡是可计算的。在涵盖 63 种配置、372 个检查点的实验中,没有任何方向性冲突指标能可靠地与权衡相关;通过剂量反应干预抑制冲突后,权衡表现依然不变,而 eff_rank 和训练损失在诊断能力上优于冲突几何指标。
ReLiveGym 提出了一个诊断评估环境,用于评测长生命周期的 LLM 智能体——这些智能体在数周的重放真实世界新闻、市场和社交媒体数据流上以稀疏方式行动。研究表明,动作时机机制与反馈利用方式是贯穿八个基础模型的关键设计维度。
莱斯大学(Rice University)的研究人员提出了 CompMat-Bench,这是一个包含 94 项任务的基准数据集,任务源自已发表的计算材料学研究,用于评估 AI 智能体准备昂贵模拟的输入及分析输出的能力,从而避免在评分阶段重新运行耗资巨大的模拟。在提供完整指导的情况下,基于三种大语言模型(LLM)的智能体通过率达到 66.0–90.4%;但在面对更长的工作流程或减少方法学提示时,性能明显下降,且大多数失败源于科学层面的错误,而非软件操作问题。
论文提出 Legal Research Bench(LRB),一个由专家撰写的包含 413 道题目的开放式美国法律研究基准,并对 13 个前沿模型的智能体进行评测;表现最强的 Claude Opus 4.8 全通过率也仅达 42.9%,表明法律研究智能体仍远未达到可靠水平。
该论文审查了文生3D评测中的配置脆弱性:在固定300个已生成场景的前提下改变渲染与字幕设置,结果发现配置方差常常超过生成器之间的方差,且基于视觉语言模型(VLM)的评测器即使在底层场景完全不变的情况下,也经常改变其评出的赢家。
本文将 LLM Agent 束缚(harness)中的恢复问题建模为一个因果决策问题,将成功救援与造成损害的结果区分开来,并提出了因果干预路由器(Causal Intervention Router, CIR)。它通过选择性地触发环境刷新,将 Qwen3-14B 在长时程 ALFWorld 任务上的成功率从 70.33% 提升至 73.33%。
本文构建了一个流式召回基准,将智能体与查询无关的记忆保留决策与查询相关的检索选择决策分离开来。研究发现,先前评估中报告的大部分记忆优势实际上是一种访问机制造成的假象,而在有限记忆条件下,召回率的上界由记忆保留率决定。
一项研究评估了来自开源 Scientific Agents 语料库的 503 份学科专用 AGENTS.md 配置文件,发现详细的角色提示并不会在九项科学基准测试上提升准确率,反而使成本增加了三倍;不过出乎意料的是,更长的提示降低了 API 的调用失败率。
TerraVis 提出了一个基于 MLLM 工作流的框架,用于评估文生图模型生成图像的世界一致性(如畸形结构、物理上不可能的交互、空间关系不一致等),并定义了涵盖对象、交互和场景层级的 18 类一致性违规分类体系。实验表明该框架与人类判断相关性最强,且常规指标表现优秀的模型仍可能存在大量世界一致性缺陷。
HyperBrowseComp 引入了一个多语言、多模态的浏览基准,包含 423 个由人工撰写并经人工验证的问题,覆盖 13 种语言,旨在通过在视频、扫描文档、图像和地图等来源中寻找冷门证据以及执行多步线索链推理,对网页浏览智能体施加压力。作者在统一的智能体协议下评估了多个模型,并提供了人类基线以供对比。
本文研究 LLM 智能体在端到端搜索中表现出的来源偏好现象:即使某些网站或服务的条目满足的需求更少,智能体仍会偏爱来自特定来源的条目;研究表明,补充缺失信息或进行反提示,可以在 12 个智能体模型上有效减少这种偏差。
Podonos 推出 Onepin,一款可用于生产环境的语音 AI 工具,能逐行检查生成内容的自然度和发音,自动纠正品牌名等词汇的误读,直接从脚本生成成品旁白。
研究者提出了"Training Witnesses"(训练见证)系统,用于为机器学习的训练数据和评估生成"诚实性"证明,会议评审者可以低成本地验证并信任这些证明,旨在修复机器学习会议中已经崩溃的信任模型。
KlinikeBench 引入了一个由临床医生验证的基准,包含 333 个交互式临床任务,要求大语言模型在限定的对话轮次内采集患者病史、使用临床工具并得出诊断。在评测的 31 个模型中,表现最好的模型(如 GPT-6-astra、Claude Opus 5)尽管诊断准确率达到 90.7%,任务成功率却不足 30%,揭示了诊断知识与真实临床交互能力之间的巨大差距。
本文提出 ContextAdapt,一个评估框架,用于测试 12 个大语言模型在不同专业领域(医学、法律、金融、国家安全)中对诚实、自主性和保密性等价值观的适应能力。模型在恰当性评分上表现较高,但无法一致地应用特定领域的论证依据,暴露出在利害关系变化时出现的局部性失败。
这篇 NeurIPS 2026 工作坊论文提出了 Long-Transduction——一个受控的诊断基准,用于衡量模型在长生成过程中维持有状态、依赖上下文的操作的能力。在对七个开放权重模型的评估中,论文发现,当上下文长度扩展(最高达 128K)、输入格式变化以及局部任务复杂度增加时,模型性能会出现严重退化。
这篇 arXiv 论文研究了语言模型在着手化解矛盾之前,如何判断两项科学发现是否具有可比性。在一个受控任务中,不可满足的 XOR 约束被翻译成实验报告;当约束条件显式给出时,GPT-5.6 Sol 和 Claude Opo 5 都能很好地还原出最有力支持的赋值方案,但当研究发现以科学散文的形式呈现时,模型往往倾向于遵从生物学上的既有预期。