@AnthropicAI:新科学博客:为什么AI在编程领域进步快于生物学?对智能体而言,生物数据库就像为汽车时代之前建造的城市……
摘要
Anthropic的科学博客认为,AI在生物学领域的进展落后于编程,因为生物数据基础设施并非为智能体设计。一项案例研究表明,添加确定性检索层(gget病毒)可将准确率提升至接近100%。
查看缓存全文
缓存时间: 2026/06/08 19:29
新科学博客:为什么AI在编程领域比在生物学领域进步更快?
对AI代理而言,生物数据库就像汽车发明之前的城市——在里面开车让人抓狂,因为它们的交通设计根本不是为汽车准备的。
我们该如何建设AI代理也能用的基础设施? https://t.co/PQaNQ4GRJZ
为生物学中的AI代理铺平道路
来源:https://www.anthropic.com/research/agents-in-biology 作者:Laura Luebbert。基于Ferdous Nasri、Sarah Gurev、Patrick Varilly、Krithik Ramesh、Nuala A. O’Leary、Jonah Cool、Bernhard Y. Renard、Pardis Sabeti和Laura Luebbert的研究(https://arxiv.org/pdf/2606.06749)。
在这篇文章中,Laura Luebbert认为,我们需要让生物数据基础设施对AI代理更加友好。作为案例研究,她和团队让科学研究的AI代理(Claude、Biomni、Edison Analysis、GPT)从NCBI Virus数据库中检索序列数据——这是病毒学家用于监控和诊断检测开发等任务的数据库。即使是最强的模型,也未能稳定达到构建可靠数据集所需的精度。但当她与团队添加了gget virus这一确定性检索层后,准确率提升到了接近100%。对科学领域的AI代理而言,更广泛的启示是:确定性检索工具(在目前阶段)对于使代理工作流更加可靠至关重要,而生物数据库在设计时也需要将AI代理视为一种规模化用户纳入考量。
用AI代理导航生物数据基础设施,就像驾驶现代汽车穿越一座汽车发明前的古城:基础设施可能很美,甚至很有匠心,但到处都是狭窄曲折的街道,让现代车辆难以通行(特殊的文件格式、分散的数据库、一次性的检索脚本)。¹ 你可以用交通标志、停车场和偶尔拓宽的道路来改造这座城市,但底层布局仍然难以导航,因为它原本是为不同的交通方式设计的。相比之下,软件基础设施基本上就是为汽车(AI代理)的需求而建的:铺好的道路、清晰的车道、标准化的信号灯,以及为从起点到终点的快速通行而设计的系统(版本控制、文档完善的API、包管理器)。
因此,编程AI代理的进步速度远远快于生物学AI代理。软件通常提供结构化的数字工作流和可靠的接口,而计算生物学中用于数据检索和验证的基础设施往往脆弱、异构且高度依赖于特定流程。我们用来导航这些基础设施的工具也必然是为特定领域或假设量身定做的。此外,软件能提供可测试的输出,可以快速编译和验证(例如,通过生成一个能通过项目测试的补丁来解决GitHub问题),而生物学领域很少有如此简单、可验证且有意义的反馈机制。
因此,生物学AI代理的瓶颈不仅是推理能力,更在于缺乏用于查询生物数据的、广泛可用的确定性执行层。科学家可以表达他们的意图(例如:找到所有具有这个结构域的人类激酶,并提取它们的结构),但AI代理往往缺乏可靠的方法来访问包含所需信息的数据库。
在生物学和科学工作流中,即使是很小的错误也可能导致严重后果。例如,从错误的基因组版本中检索坐标,可能会使下游的生物学解读完全无效。同样,无意中混合RefSeq和GenBank记录、将部分基因组视为完整基因组、混淆分节段病毒的节段名称,或由于不一致的元数据字段而遗漏相关记录,都会导致问题。研究的美妙与挑战恰恰在于,细节往往至关重要。
就像开车穿过意大利的山城一样,如果街道太窄、弯道太急、路线需要依赖本地知识,那么车再强大也无济于事。如果我们希望AI代理能帮助科学发现——无论是疫情应对、药物设计还是生物建模——我们就需要建设一个它们能像人类一样可靠导航的生物数据基础设施。
卡帕西关于Web开发的讲座,揭示了用AI代理做生物学的什么问题
这种AI代理需求与人类构建工具之间的不匹配并非生物学领域独有。只要把AI代理插入到纯粹为人类使用而设计的环境中,这种摩擦就会出现。
几个月前,Andrej Karpathy 做了一个关于AI时代软件的演讲(https://www.youtube.com/watch?v=LCEmiRjPEtQ),最后他抱怨了一件听起来非常熟悉的事情。他用“氛围编码“做了一个小型Web应用,但当他想让它真正可用(添加认证、支付、部署功能)时,他在浏览器仪表盘里点来点去,浪费了一周时间。
正如他所总结的:“代码是最简单的部分!大部分工作都在浏览器里,不停地点击各种东西。”文档总是告诉他要“访问这个URL,点击这个下拉菜单”。他的结论是:没人应该做这种事。相反,我们必须为AI代理建设基础设施**。**
Karpathy 在软件代理世界里遇到的这个新问题,生物学研究人员已经与之斗争了很久:试图让智能系统在充满异构信息、隐式约定和需要人类在浏览器中点击操作的环境中运行,这种痛苦是相通的。
案例研究:病毒学中的“点击税“
早在AI代理出现之前,计算生物学家和遗传学家就已经开始开发用于传统计算生物学的工具,逐步解决这个问题。像 Biopython、BioPerl、BioJulia、Entrez Direct、BioMart、gget 以及许多其他工作流库,都是试图将生物数据从浏览器界面中解放出来,放到研究人员可以直接计算的地方。
问题在于,生物数据并不存在于一个具有单一接口的数据库中。它是一个混乱的道路网络,每条路都有自己的标识符、约定、格式、过滤逻辑和可编程访问程度。有些数据很容易通过编程方式访问,而另一些则不然。
病毒学尤其是一个难题。从疫苗和诊断检测设计,到为蛋白质模型构建训练数据,研究工作流通常都是从 NCBI Virus 数据库检索序列开始的。这个数据库汇集了来自 GenBank、RefSeq 及国际 INSDC 生态系统(包括 Pathoplexus)的病毒序列记录,通过一个可搜索的Web界面提供服务。作为为病毒暴发监控构建工具的研究人员,我们深知在这些检索操作背后隐藏着多少专业知识。在病毒学实验室中,针对 NCBI Virus 的数据集整理指南,通常以一长串复杂过滤条件的形式传递,用户必须在网页界面中手动重现这些条件——这正是卡帕西抱怨的那种浏览器点击工作流。
刚果民主共和国目前由本迪布焦病毒引起的埃博拉疫情,就是一个鲜明的例子,说明了简化的病毒数据访问为何能带来真实世界中的生死攸关的后果。2026年5月14日,刚果民主共和国金沙萨国家生物医学研究所分析了13份血液样本,并在第二天确认其中8份感染了本迪布焦病毒,² 随后宣布埃博拉疫情暴发。到5月29日,世界卫生组织报告刚果民主共和国有超过1000例确诊病例和疑似病例,包括200多人死亡。研究人员还生成了首批近乎完整的疫情基因组,帮助确定这次疫情是由一次新的溢出事件引起的。
这些基因组给公共卫生官员带来了三个紧迫的问题。第一,这次暴发的病毒与以前见过的埃博拉病毒有多大差异?第二,现有的诊断方法还能检测到它吗?第三,现有的治疗方法还能保护人们免受其害吗?回答这些问题需要将这些新基因组与通过 NCBI Virus 和 Pathoplexus(数据同步至NCBI Virus)获取的历史埃博拉基因组进行比较。但这并非易事,该分析的第一步涉及手动点击Web界面,手工重现复杂的过滤器,并寄希望于得到的数据集是完整和正确的。
这项工作流如此难以自动化的原因是,NCBI Virus 的大部分过滤逻辑只存在于这个网页界面中。这对人类来说很烦人,对AI代理来说则非常糟糕。如果一位研究人员想要所有2025年发布的、包含表面糖蛋白的SARS-CoV-2序列,一位经验丰富的病毒学家在浏览器里点几下可能就完成了。但通过编程方式,这可能需要一个数百行的脚本来拼接多个API(REST、Datasets、E-utilities),逐页检索结果,协调标识符,并下载数百GB的数据,最后经过本地过滤后大部分数据还要被丢弃。
即使某个资源提供了API,由于种种原因,AI代理仍然难以可靠地使用它。例如,API可能没有暴露出与网页界面相同的过滤语义;元数据字段可能文档不全或标准化不一致;不同来源的标识符可能发生变化;或者“正确答案”依赖于人类专家知道但机器必须推断的约定。
当AI代理硬要尝试时会发生什么
为了更好地理解将AI代理与数据库连接起来的挑战,我们设计了一个测试,评估当前最先进的科学研究AI代理(Claude、Biomni、Edison Analysis、GPT)在利用现有基础设施从NCBI Virus检索病毒序列时的能力。我们的基准测试集 VirBench 包含120个现实的病毒序列查询,涵盖40种病原体,并配有手动验证的真实数据量计数。这些查询反映了病毒监控、诊断检测设计和蛋白质模型训练数据构建中常见的任务。例如,一个查询要求AI代理“从NCBI检索TaxID为3052462(扎伊尔埃博拉病毒,ZEBOV)的病毒序列,需满足以下条件:宿主生物:人类,样本采集地理地点:非洲,采集日期在2014年1月1日及之后、2014年6月20日及之前,最小序列长度:15200个碱基,最多1900个模糊字符(N’s),排除实验室传代样本。”
当让AI代理自行解决这些查询时,不同系统的性能差异巨大,并且更新的前沿模型有显著提升。然而,即使是最强的模型,也未能稳定达到构建可靠数据集所需的精度和可重复性。Claude Sonnet 4、Claude Opus 4.7、Biomni、Edison Analysis、GPT-5.2-pro 和 GPT-5.5³ 的平均准确率从16.9%到91.3%不等。对于这些数据检索任务,标准实际上是100%:在某些情况下,一条缺失或错误的记录就可能决定一种诊断检测方法是否看起来覆盖了正在流行的病毒多样性,或者决定一次疫情被推断为提前几周还是推迟几周开始。此外,同一模型在被问及同一问题三次时,往往会产生截然不同的答案,这削弱了可靠科学工作流所需的准确性和可重复性。对于上面提到的埃博拉病毒查询示例,Sonnet 4⁴ 在一次运行中返回了106条序列(预期:266条),第二次运行返回了15条,第三次返回了5条,尽管每次提示词完全相同。
这种不一致性对下游分析有严重后果。我们使用上面显示的查询来检索埃博拉病毒序列并构建系统发育树——这是一种在疫情期间重建病毒样本间关系的标准分析。从系统发育树中我们可以获得的一个重要参数是估计的最近共同祖先时间。这是推断出的疫情根节点日期,它可以改变关于病毒起源时间和地点的结论,以及病毒已经传播了多久。在本例中,从手动整理的NCBI Virus序列集构建的树,恢复出了2014年1月的TMRCA,这与2014年埃博拉疫情的先前报告(https://www.science.org/doi/epdf/10.1126/science.1259657)(95%最高后验密度区间为1月27日至3月14日)一致。相比之下,Sonnet 4检索到的三个序列集中有两个明显不完整,其中一个树将推断出的TMRCA推回到了1922年。剩下的那个数据集(运行1)表面上看是合理的,但未能检索到几内亚的序列,并将估计的TMRCA推移到了2014年4月,从而改变了推断的疫情时间线。
[图表:扎伊尔埃博拉病毒系统发育树] 使用Delphy(https://www.biorxiv.org/content/10.1101/2025.03.25.645253)推断的2014年西非疫情扎伊尔埃博拉病毒系统发育树。枝条颜色按采样国家着色;灰色表示缺失或错误检索到的国家元数据。红色虚线标记每棵树估计的最近共同祖先时间。左上角的树是由通过NCBI网页界面手动检索的序列构建的,而运行1-3则是由Sonnet 4代理使用网络搜索和代码执行工具组装出的序列集生成的。分析和可视化由Gage Moreno完成。
NCBI Virus检索尝试之间的变异性也会影响关于治疗方法的结论。我们检索了埃博拉病毒糖蛋白序列,以检查由maftivimab和MBP134这两种抗体疗法结合的抗原表位——这两种疗法是针对扎伊尔埃博拉病毒开发的,并且被世卫组织列为正在进行的埃博拉疫情的优先治疗候选药物(https://www.who.int/news/item/28-05-2026-experts-convened-by-who-advise-on-candidate-treatments-and-vaccines-for-ebola-disease-caused-by-bundibugyo-virus)。我们询问,在相关的扎伊尔埃博拉病毒序列中,这些抗体靶向的区域是否之前就出现过突变。这类分析可以让研究人员了解,随着病毒进化,一种治疗方法是否还能继续保护患者。如果底层序列不完整或检索错误,就可能颠覆他们的结论。在我们的例子中,Sonnet 4第一次运行时检索到的序列接近手动NCBI查询得到的结果。第二次运行时,它遗漏了大部分突变残基。第三次运行时,它又突出显示了另一组不同的残基,对这些靶标区域的变异性给出了三种不同的印象。⁵
[图示:现有扎伊尔埃博拉病毒突变] 图中红色表示扎伊尔埃博拉病毒糖蛋白上现有的突变,颜色越深表示突变频率越高。球体表示抗体疗法maftivimab和MBP134已知的结合足迹。最左边的可视化图是根据手动整理的NCBI数据集构建的,而运行1-3则由Sonnet 4代理使用网络搜索和代码执行工具组装出的序列集生成。显示的PDB结构为7TN9。分析和可视化由Sarah Gurev完成。
这两个例子都说明了科学中的一个普遍模式:那些看起来像是微小检索选择的细节,可能会改变生物学结论。在这个案例中,病毒序列检索中模型表现的不一致性以及失败模式的性质都表明,大部分变异可归因于基础设施的缺陷。AI代理在未能成功检索大型结果集时会少计数,而在过滤器应用不正确时会多计数。例如,与预期计数的最大偏差出现在拥有大量可用记录的病毒中,包括甲型流感、HIV-1和SARS-CoV-2,在这些情况下,检索中途停止以及错误的下游过滤会严重扭曲最终数据集。它们
相似文章
@rohanpaul_ai: Anthropic新研究表明,AI智能体在代码方面可能表现卓越,但在生物学领域,它们可能在科学工作开始之前就失败……
Anthropic的研究揭示,AI智能体在生物学数据库方面存在困难,对同一个查询会产生高度差异的答案(例如,埃博拉序列计数范围从5到106,而预期为266),但添加一个可重复的检索工具能显著提高一致性和准确性。
2026年6月8日 科学:为生物学中的智能体铺平道路
Anthropic研究员Laura Luebbert认为,生物数据基础设施需要为AI智能体重新设计,她通过一个案例研究指出,即使是强大的模型也无法可靠地从NCBI Virus检索序列数据,直到添加了确定性检索层。
@OkhayIea: 每个人都在竞相构建“AI科学家”。因此我们提出了一个直白的问题:当今最好的编码代理能打败公开发表的…
介绍了NatureBench,这是一个跨学科基准测试,包含来自Nature论文的90个任务,用于测试AI编码代理。研究发现,最好的代理(Claude Opus 4.7)仅在17.8%的任务上超越了现有最佳水平,而且其成功往往是通过将科学简化为监督式机器学习,而非真正的发现来实现的。
AI智能体的进步速度远超大多数人预期
本文讨论了AI智能体在过去一年中的快速进步,重点介绍了它们在多步骤工作流、工具使用、编程和现实世界集成方面能力的提升,标志着从演示到实用数字工作者的转变。
神经科学数据到发现流程中AI代理评估的案例研究
本文提出了一项实证研究,评估通用编码代理在果蝇光遗传学数据到发现流程中的表现。研究发现,虽然代理能够自动化单个阶段,但在需要科学判断和资源管理的端到端任务中表现不佳。