标签
该论文介绍了 EDB-Bio,这是一个包含 9.6 万个回合、涵盖三个生物学领域的科学证据审议基准。结果表明,前沿模型和开放权重模型普遍倾向于置信度不足(布里尔分数接近仅依据基础发生率进行预测的简单模型),而使用适当评分规则进行后训练可改善校准,由此得到的 Ibis0 模型在序贯实验选择中的效率达到最佳前沿模型的 2.5 倍。
洛斯阿拉莫斯国家实验室和 NVIDIA 的研究人员提出了一项由专家精心编制、包含 250 道惯性约束聚变问题的基准测试,用于评估大语言模型的科学知识运用能力、物理推理能力和定量分析能力。他们将前沿开源和闭源模型与领域专用模型 Prospero 进行比较,发现专业化训练能够提高得分,但关键的物理学错误仍然存在,并建议在投入进一步的专业化训练之前,先评估现有能力以及检索带来的收益。
该论文介绍了 LibStructBench,这是一个基于文档的基准,用于评估 AI 智能体重建测序文库结构和分子实验流程的能力。研究发现,前沿智能体在精确重建方面仍不可靠,且模型选择比智能体运行框架的选择更为重要。
SciΠvot 是一个基于 248 个人工纠正案例的基准,用于评估 LLM 智能体在科研自主研究关键时刻的科学判断力;结果显示前沿模型常偏好有缺陷的原始计划而非专家修正方案,整体表现低于人类研究者。
提出 PhysClosureBench 基准,包含 50 项专家验证的物理研究任务,用 Atomic Score 与 Research Closure (RC0-RC4) 评估 AI 智能体完成科学闭环的能力;七款前沿模型中 Claude-Opus-5 得分最高 (6.29/10),但仅 32.7% 的尝试达到完全闭环,揭示了局部科研成果与完整研究闭环之间的持续差距。
LLM-IDEA 论文提出一个由可识别性驱动的实验智能体,用于闭环自主发现机制性世界模型。其可识别性引擎能在能力上限、设计类内可解、认证耗尽三种平台期判定之间做出选择,从而使自主智能体能够计算出当前平台期是需要更多搜索、更优同类实验,还是需要更换一类实验。
本文介绍了元认知引导,一种在推理时动态调整语言模型推理以用于科学发现的控制器,利用过程级数据,并展示了其在Columbus-1自主研究系统中的应用。
Sci-MMR 是一个用于评估多模态代理中多步骤证据基础科学推理的基准,揭示了答案准确率超过证据恢复率超过20%的差距。
VERPO 引入了一个框架,用于在语言模型中进行验证证据正则化策略优化,通过将证据视为策略修正的提议,同时保持目标结果,以提高在科学推理和工具使用任务上的性能。
本文介绍了一个经专家验证的STEM问答数据集,旨在填补现有基准测试中的空白,展示了前沿AI模型的低性能以及模型训练的潜力。
本文提出一种神经符号框架,将推理解耦为符号有效性和语义 grounding,利用验证器和训练的PRM来提高LLM在科学推理任务中的可靠性。
OmniPhys 是一个大规模的多模态基准测试,专注于物理理解与生成,涵盖了从中学到大学级别的问题,源自中国教育语料库。其目标是评估并推动多模态大型语言模型在科学领域的发展。
本文研究了条件记忆在科学推理语言模型中的作用,引入了一个Knowledge Boundary-Aware Router,以根据任务特定输入动态激活记忆,从而提升性能并避免干扰。
本文诊断了Graph-JEPA模型中的类别条件性坍缩,其中标准指标显示表示健康,但可用实例信息缺失,并提出了一种修复方法,同时证明了检索目标的结构性可约性。
一篇关于AI能力在消费用途和深度领域之间分化的评论,提到OpenAI下一代模型系列Astra据称解决了数学和科学领域的重大开放问题。
OpenAI即将推出的Astra模型系列解决了数学和理论计算机科学领域的10个重大开放问题,证明生成成本不到2,000美元。这条推文凸显了Astra在科学推理方面的潜力。
据报道,OpenAI 下一代主要模型家族 Astra 的内部版本解决了数学和理论计算机科学领域的 10 个重大开放问题,标志着科学推理领域的重大进展。
介绍了G-Frame,这是一个由博弈论驱动的多智能体框架,通过内化领域约束减少了轻量级LLM中的幻觉,在化学基准测试中实现了79.46%的幻觉减少,并与GPT-4o mini的性能相当。
Active-GRPO 引入了一个自适应模仿与自我改进推理框架,能够动态决定何时模仿参考、何时强化模型自身的发现以进行分子优化,在 TOMG-Bench-MolOpt 基准上取得了相较于先前方法具有统计显著性的改进。
Agents-A1 是 InternScience 推出的 35B 参数混合专家(MoE)智能体模型,通过长程轨迹缩放和多教师多领域蒸馏技术,在与 GPT-5.5 和 DeepSeek-V4-pro 等前沿规模系统的对比中展现出具有竞争力的性能。