AI辅助研究中的校准转向:证据许可声明的概念与方法论框架

arXiv cs.LG 论文

摘要

本文提出了一种概念与方法论框架,用于评估AI辅助研究中的证据许可声明,强调校准作为管理科学断言权利的机制,并区分不同的AI研究路径。

arXiv:2606.31273v1 公告类型:新 摘要:AI辅助研究已进入一个新阶段,其核心问题不仅在于系统能否生成假设、运行实验或撰写论文,更在于其科学声明是否与支撑证据相校准。本文以观点性论文的形式,为AI辅助研究中的证据许可声明构建了概念与方法论框架。受代表性路径的启发,包括专用科学基础模型、LLM研究助手、多智能体协同科学家、AI科学家流水线、数学发现智能体以及自动驾驶实验室,本文将AI辅助研究表征为五个操作符:假设生成、模型中介的推论推导、外部验证、信念更新和声明校准。核心论点是,校准不仅是措辞上的谨慎,更是一种管理科学断言权利的机制:证据许可某些形式的表述,同时禁止其他形式。本文区分了语言学、基于后果、干预性和证据许可的语义;定义了声明-证据差距和认知债务;并将异构输出间的极小结构重构视为声明校准的一种升级形式。AISim-Cal作为说明性的合成动力学练习被纳入,而非实证预测或基准。由此得出的原则是:无许可则不声明,验证不决定声明等级,自动化放大了校准的需求。因此,可靠的AI辅助研究被评估为一个循环:生成假设、推导可检验的后果、接受独立裁决、更新信念,并仅输出证据许可的声明。
查看原文
查看缓存全文

缓存时间: 2026/07/01 05:35

# 人工智能辅助研究中的校准转向:基于证据许可的主张概念与方法论框架

来源:https://arxiv.org/html/2606.31273

洪民利¹,²  
¹东京科学大学生命科学与技术学院,日本东京目黑区大冈山2-12-1,邮编152-8550  
²东京大学前沿科学研究生院计算生物学与医学科学系,日本千叶县柏市柏之叶5-1-5,邮编277-8561  

作者注:洪民利是东京科学大学生命科学与技术学院研究员,东京大学前沿科学研究生院计算生物学与医学科学系客座研究员。ORCID:0000-0003-0228-0600(https://orcid.org/0000-0003-0228-0600)。通讯地址:[email protected]。(2026年6月16日)

###### 摘要

人工智能辅助研究已进入一个新阶段,其核心问题不再仅仅是AI系统能否生成假设、运行实验或撰写手稿,而是它们最终的科**学主张是否与支持这些主张的证据相校准**。本文以Perspective风格论文的形式,发展了一个用于评估AI辅助研究中**基于证据许可的主张**的概念与方法论框架。该框架的动机来自于对代表性路径的方法论比较,包括专用科学基础模型、人在回路中的大语言模型研究助手、多智能体协同科学家系统、端到端AI科学家管线、算法与数学发现智能体,以及自动驾驶实验室。本文将AI辅助研究表示为五个操作元的组合:假设生成、模型中介的推论推导、外部验证、信念更新,以及**主张校准**。核心论点是:校准不仅仅是措辞谨慎。它是管理科学断言权的一种机制:证据许可某些形式的言说,而禁止其他形式。本文区分了语言学语义、基于后果的语义、干预性语义和基于证据许可的语义;定义了主张-证据差距与认知债务;并将跨异构输出的最小结构重构视为一种特殊的、向上的主张校准形式。本文认为,AI科学路径不仅在其推论推导能力或自动化程度上存在差异,还在于其评估者是否独立、可靠、根植于现实世界,并能转化为有边界的科学主张。AISim-Cal仅作为一个说明性的合成动力学练习,而非经验性预测或基准。由此产生的校准原则是:没有许可就没有主张,验证不能决定主张层级,自动化放大了校准的需求。因此,该框架将可靠的AI辅助研究评估为一个AI增强的循环:生成假设、推导可检验的后果、接受独立裁决、更新信念,并仅输出基于证据许可的主张。

关键词:AI for science;科学主张;证据校准语义学;认识论;多智能体系统;自动驾驶实验室;外部验证

## 1 引言:从科学自动化到主张许可

关于AI科学探索的讨论,常常集中于系统是否产生了足够实质性的科学贡献或真正的发现。这个问题比模型能力或手稿生成更广泛,但除非贡献和发现受到证据的约束,否则它仍然是不完整的。科学知识主要不是关于新颖性标签或文本生产力的问题,而是关于对世界施加可检验约束的问题。King和Zenil在OECD关于人工智能在科学中的报告中的一章将科学的目标框架化为构建能预测现实世界中发生什么(尤其是在实验中)的模型,并将对实验的预测性能视为AI系统在科学中的一个自然目标(OECD,2023年(https://arxiv.org/html/2606.31273#bib.bib21);King和Zenil,2023年(https://arxiv.org/html/2606.31273#bib.bib14))。本文在适用之处采纳了这种预测性框架,但将预测视为更广泛推论关系的一个重要特例。某些科学推导面向未来的预测;其他科学则推导回溯性痕迹、诊断特征、证明义务、分类约束或测量特征。这一框架也与关于实用意义与探究、可证伪性、研究纲领、干预、严格检验以及主张、数据与保障之间关系的更古老思想一脉相承(Peirce,1878年(https://arxiv.org/html/2606.31273#bib.bib24);Popper,1959年(https://arxiv.org/html/2606.31273#bib.bib25);Lakatos,1970年(https://arxiv.org/html/2606.31273#bib.bib16);Hacking,1983年(https://arxiv.org/html/2606.31273#bib.bib12);Mayo,1996年(https://arxiv.org/html/2606.31273#bib.bib18);Toulmin,1958年(https://arxiv.org/html/2606.31273#bib.bib31))。这为本论文提供了起点:一个AI科学系统只有在能够将假设转化为领域内适当的可检验后果、通过独立裁决更新这些假设、并将其最终主张校准到该裁决所产生的证据上时,才是可靠的。

截至2026年6月,本Perspective文章使用六个非穷尽性的路径族作为认识论比较对象。AlphaFold 3(Abramson et al.,2024年(https://arxiv.org/html/2606.31273#bib.bib1))和GNoME(Merchant et al.,2023年(https://arxiv.org/html/2606.31273#bib.bib19))代表了专用科学基础模型。AlphaFold 3使用大幅更新的基于扩散的架构来预测可能包含蛋白质、核酸、小分子、离子和修饰残基的生物分子复合物的联合结构(Abramson et al.,2024年(https://arxiv.org/html/2606.31273#bib.bib1))。GNoME使用深度学习来扩展材料搜索空间,并生成稳定晶体结构的大规模计算候选材料(Merchant et al.,2023年(https://arxiv.org/html/2606.31273#bib.bib19))。GPT-5及相关前沿模型被专家用于文献综合、证明草图、机制性假设和实验建议,但已发表的案例报告明确描述了精选示例而非系统样本,并强调了专家验证的必要性(Bubeck et al.,2025年(https://arxiv.org/html/2606.31273#bib.bib4);OpenAI,2025年(https://arxiv.org/html/2606.31273#bib.bib22))。Google Co-Scientist和FutureHouse Robin将假设生成、批判、排序、数据分析和实验规划组织成多智能体系统(Gottweis et al.,2026年(https://arxiv.org/html/2606.31273#bib.bib9);Ghareeb et al.,2026年(https://arxiv.org/html/2606.31273#bib.bib7))。Sakana AI Scientist系列试图自动化机器学习研究中的想法生成、代码执行、图表、手稿和评审(Lu et al.,2026年(https://arxiv.org/html/2606.31273#bib.bib17))。AlphaEvolve、AlphaProof和AlphaGeometry 2表明,当候选对象可以通过程序测试、基准测试或形式化证明检查器进行评估时,AI系统可以获得更强的认识论保障(Novikov et al.,2025年(https://arxiv.org/html/2606.31273#bib.bib20);Hubert et al.,2026年(https://arxiv.org/html/2606.31273#bib.bib13))。Boiko等人的Coscientist化学系统和A-Lab将AI系统与机器人实验和真实数据反馈连接起来,同时也暴露了实验工程、解释和可重复性审查的高昂成本(Boiko et al.,2023年(https://arxiv.org/html/2606.31273#bib.bib3);Szymanski et al.,2023年(https://arxiv.org/html/2606.31273#bib.bib27);Chawla,2026年(https://arxiv.org/html/2606.31273#bib.bib5))。这些来源的证据地位不同:同行评审文章、arXiv或白皮书主张、官方报告以及新闻支持的更正,在此被视为认识论比较对象,而非独立验证的领域排名。

本文的核心论点是,这些路径的差异与其说在于它们的模型族,不如说在于它们隐含的科学意义理论。一些系统将意义定位于预测分布,另一些定位于文本假设,还有一些定位于研究人工制品、程序或证明,或实验响应。跨路径而言,共同的失败模式是**主张漂移**:从有许可的较弱主张迁移到无许可的较强主张。因此,关键问题不仅在于裁决者的身份和独立性,还在于裁决后许可的科学断言强度。

本文探讨三个问题。第一,AI生成的假设如何成为科学主张?第二,给定的外部验证结果许可何种层级的主张?第三,当证据不足时,系统应如何通过收集更多证据、削弱主张、缩小其边界或改变其模态状态来消除由此产生的认知债务?

贡献有四个方面。第一,本文为AI科学探索引入了一套证据校准词汇,将分析从假设生成和外部验证推进到基于证据许可的断言。第二,本文通过领域敏感的许可关系 \(E \Vdash_{\mathsf{D},V} C\),以及主张序和主张相对的证据预序,在示意图层面形式化了科学断言权。第三,本文定义了主张-证据差距和认知债务,作为衡量主张所需的证据强度与实际证据提供的支持之间不匹配的诊断指标。第四,本文以代表性AI科学路径作为方法论比较对象,论证核心风险不仅仅是缺乏验证,而是将实验可操作性、人工制品完整性或论文形式过度解释为比证据所允许的更强的科学发现。

本文发展的是方法论和认识论框架。它不引入新的AI辅助科学系统,也不报告特定领域的科学结果。这是一篇Perspective-style的理论综合和方法论框架,而非系统性文献综述。下文讨论的路径是作为AI辅助研究中突出的认识论比较对象而选出的,并非所有系统的详尽普查。在本文中,“AI辅助研究”是总称,而“AI科学探索”指的是AI辅助研究系统中生成、评估或交流科学假设和主张的那一部分。

文章类型与范围。本文的主要贡献是一个用于在AI辅助研究中校准科学主张的概念和方法论框架。路径比较旨在跨代表性范式激发和压力测试该框架;它不是系统的领域地图。AISim-Cal是一个说明性的合成动力学练习;它不是经验性预测、基准,也不是任何路径优越的证据。“校准转向”一词命名了本文提出的评价性转变,而非声称该领域已经收敛于一个确定的范式。因此,每个校准后的科学输出都应同时指定证据许可的主张和仍然未许可的较强配对非主张。

核心论点。AI科学探索的评价不应仅基于系统是否生成假设或获得验证,而应基于它是否管理科学断言权。我们通过许可关系 \(E \Vdash_{\mathsf{D},V} C\)、主张-证据差距 \(\Delta_{\mathsf{D},V}(C,E)\)、认知债务 \(\operatorname{Debt}^{\ell}_{\mathsf{D},V}(C,E)\) 以及校准算子 \(\operatorname{Cal}_{\mathsf{D}}\) 对此进行形式化,校准算子将原始主张、证据、评估者和领域上下文映射到最大基于证据许可的主张前沿。选定的校准主张则为 \(C^{\ast} \in \operatorname{Cal}_{\mathsf{D}}(C,E,V)\)。实验可操作性、人工制品完整性或基准成功只有在被转化为基于证据许可的主张时,才具有科学可靠性。

该框架旨在将哲学语义学与AI系统分析联系起来。当定义在操作上变得相关时会重复,关键符号既在符号表中解释,也在使用它们的公式附近解释。这种冗余支持跨基于LLM的科学智能体、AI Scientist管线、自主实验室、形式证明智能体和专用科学模型的比较。在每种情况下,都需要相同的分解:哪个子系统生成假设,哪个子系统推导后果,哪种机制充当评估者,以及当证据不足时,系统语言必须在何处降级。相同的问题主导着下文考虑的所有路径:证据许可了什么主张?这个问题在语言模型、形式证明系统、机器人实验室、基准驱动的机器学习和特定领域的基础模型之间保持不变,尽管它们的人工制品、评估者、成本和验证时间表有很大差异。

知识、数据与研究问题 \((K, D_t, q)\)  
\(G\):假设生成 → 候选假设 \(h\)  
\(M_{\mathsf{D}}\):推论推导 → \(\chi_h(a, x) \in \mathcal{Q}_{\mathsf{D}}\)  
\(V\):外部裁决:实验、模拟、证明、基准或统计 → 证据体 \(E\)  
以及信念更新 \(U\) → 更新后的知识状态  
\(\operatorname{Cal}_{\mathsf{D}}\):断言权校准 → \(C^{\ast} \in \operatorname{Cal}_{\mathsf{D}}(C, E, V) \subseteq \mathcal{L}_{\mathsf{D},V}(E)\)  
原始主张 \(C\) → 认知债务 \(\operatorname{Debt}^{\ell}_{\mathsf{D},V}(C, E)\)

图1:校准的AI科学循环。假设生成 \(G\) 从知识、累积数据 \(D_t\) 和研究问题提出候选。建模 \(M_{\mathsf{D}}\) 将假设转化为领域内适当的可检验后果。干预性预测 \(P_h(Y \mid \operatorname{do}(a), x)\) 是一个重要的特例;其他领域可能推导回溯性痕迹、诊断特征、证明义务、分类约束或测量特征。验证 \(V\) 通过实验、模拟、证明检查、基准测试、测量或统计检验来裁决后果。信念更新 \(U\) 将结果纳入当前知识状态。主张校准 \(\operatorname{Cal}_{\mathsf{D}}\) 将原始主张 \(C\)、证据 \(E\)、评估者 \(V\) 和领域上下文 \(\mathsf{D}\) 映射到最大许可前沿,从中选定的校准主张 \(C^{\ast}\) 必须属于 \(\mathcal{L}_{\mathsf{D},V}(E)\)。没有 \(\operatorname{Cal}_{\mathsf{D}}\),AI科学循环即使获得验证也可能产生过强的主张和认知债务。

表1:代表性AI科学路径中的许可主张及其配对非主张

## 2 符号与核心符号说明

由于本文比较了数个AI科学路径,同一数学部分包含了关于世界、假设、主张、评估者和工作流人工制品的变量。表LABEL:tab:notation给出了一个综合词汇表:左列为符号,中列为其形式角色,右列为论证中使用的直观解释。三个约定减少了符号过载。首先,大写字母用于形式角色,小写字母用于实例。其次,

相似文章

校准作为LLM评估的首要标准

Hugging Face Daily Papers

本文主张校准应作为LLM评估的首要标准,以增强可信度并解决部署和研究流程中的校准问题。

面向政策的AI使用检测:学术出版的证据框架

arXiv cs.CL

论文指出,对于学术出版机构而言,标准的AI文本检测工具所测量的并非真正需要关注的对象,并提出了一种面向政策的AI使用检测方法——该证据框架将期刊政策作为显式输入,报告经校准的假设及不确定性(而非二元判定),并基于可复现的合规/非合规工作流管线构建基准测试。

证据账本裁决:实现主张-证据可追溯性

arXiv cs.AI

本文介绍了证据账本裁决(evidence-ledger adjudication),一种用于AI辅助写作中主张-证据可追溯性的工作流,并在基于AVeriTeC、CLIMATE-FEVER和SciFact构建的盲测基准上进行了评估,结果表明基于智能体的方法优于基线方法。