标签
作者提出了一种受人类大脑过程启发的AI智能体架构,使用信念更新和决策循环,并向AI社区征求关于其实用性和改进的反馈。
本文评估了大语言模型识别未言明信念(隐含意义)以及通过隐含意义取消来理解信念更新的能力,并引入了专家标注的ImplicatureX数据集。结果表明,大语言模型在自然场景中尤其落后于人类。
BayesBench评估了在多轮证据累积任务中,大语言模型的信念更新与贝叶斯推理的接近程度,发现虽然扩展规模能改善潜在推理,但模型难以将这种理解用于下游预测。
一项对25,000次AI科学家试验的研究发现,智能体68%的时间忽视证据,极少修正假设,显示流行的脚手架修复方法并未赋予真正的科学推理能力。