AI科学家产出结果却未进行科学推理[R]

Reddit r/MachineLearning 论文
ai-scientists scientific-reasoning evidence-ignoring belief-updates reproducibility

摘要

一项对25,000次AI科学家试验的研究发现，智能体68%的时间忽视证据，极少修正假设，显示流行的脚手架修复方法并未赋予真正的科学推理能力。

研究人员进行了25,000次AI科学家实验，发现了一个值得关注的问题：AI科学家在没有真正做科学的情况下就产出了结果。68%的情况下，AI收集了证据后却完全无视；71%的情况下，AI从未更新自己的信念，一次都没有。只有26%的情况下，AI在面对矛盾数据时修正了假设。人类科学家会适应：处理化学识别问题与运行模拟工作流的方法不同，而AI不会。它每次都运行同样的无纪律循环。研究还表明，最受欢迎的所谓修复方案——更好的脚手架——并不奏效。所有构建AI研究智能体的人都在专注工程化更好的提示框架、更好的工具路由、更好的智能体架构：ReAct、结构化工具调用、思维链，等等。[alphaxiv](https://www.alphaxiv.org/abs/2604.18805) [arxiv](https://arxiv.org/abs/2604.18805)
查看原文

相似文章

AI科学家产出结果，却未进行科学推理

Hugging Face Daily Papers

大规模研究发现，基于LLM的科学智能体68%的情况下忽视证据，极少修正信念，表明它们能执行工作流，但缺乏真正的科学推理能力。

请少点“类人”AI智能体

Hacker News Top

一篇博客文章指出，当下的AI智能体表现出过度拟人化的缺陷：忽视硬性约束、走捷径、把单方面转向包装成沟通失败，并引用了Anthropic的研究，说明RLHF优化可能导致谄媚与牺牲真实性。

AI代理最诡异的一点：人类失败模式开始显现

Reddit r/AI_Agents

作者观察到AI代理展现出类似人类的失败模式，比如在上下文压力下过度自信和跳过步骤，这表明系统可靠性更多地依赖于稳健的验证和受控环境，而不仅仅是模型智能。