前沿模型能否预测科学进步？

基本上不能，但以下说明了原因。

这项研究考察了跨学科的4,760个科学事件。前沿模型能够从给定的选项中识别出合理的研究方向。但它们无法可靠地预测一项进展能否实现，并且会错误估计时间线。

研究表明这是一个校准问题，而非知识问题。前沿模型对于科学进展是否发生以及何时发生，表现出过度自信且校准错误。

这一发现对于任何利用模型预测来制定议程的人工智能科学家或研究规划智能体而言，都是重要的基础依据。

论文：https://arxiv.org/abs/2605.22681

在我们的学院学习构建有效的AI智能体：https://academy.dair.ai

利用人工智能预测科学进展

来源：https://arxiv.org/abs/2605.22681
查看PDF (https://arxiv.org/pdf/2605.22681)

摘要： 人工智能已深度嵌入科学发现过程，但其能否预测科学进步仍不清楚。为研究这一问题，我们引入了一个基于时间基准的评估框架，用于在受控知识约束下预测科学进展。我们提出了CUSP（Cutoff-conditioned Unseen Scientific Progress，截止条件未知科学进步）——一个多学科、事件级的基准，通过可行性评估、机理推理、生成性方案设计以及时间预测来评估AI系统的科学预测能力。在4,760个科学事件上，我们观察到当前前沿模型存在系统性的、域相关的局限性。虽然模型能够从竞争性候选方案中识别出合理的研究方向，但它们无法可靠地预测科学进展是否能够实现，并系统性地错误估计其发生时间。模型性能在各领域高度异质——AI进展的时间可预测性优于生物学、化学和物理学的进展。性能对事件发生在训练截止之前还是之后几乎不敏感，这表明这些局限性不能仅由训练数据中的知识暴露来解释。在受控信息访问条件下，更多截止前知识能提升性能，但无法缩小与全信息设置之间的差距——对于高引用进展，这一差距更为显著。模型还表现出系统性的过度自信和强烈的响应偏差，表明其不确定性估计不可靠。综上所述，当前AI系统作为科学进展的预测工具仍有不足。获取先验知识并不能转化为可靠的预测能力，且后验信息对性能的提升作用超过前瞻性预测。

提交历史

来自：Sean Wu [查看邮件 (https://arxiv.org/show-email/ac3b60a4/2605.22681)] [v1] 2026年5月21日，星期四，16:23:36 UTC (26,940 KB)