基于智能体的BAIM-LLM评估（ABLE）：LLM使用蛋白质设计工具的基准测试

# 智能体BAIM–LLM评估（ABLE）：基准测试LLM对蛋白质设计工具的使用  
来源：https://arxiv.org/html/2609.05818  
Geetha Jeyapragasan 单位：SecureBio，美国马萨诸塞州剑桥  
Samira Nedungadi 单位：SecureBio，美国马萨诸塞州剑桥  
Jake Yukich 单位：SecureBio，美国马萨诸塞州剑桥  
Seth Donoughe 单位：SecureBio，美国马萨诸塞州剑桥  
通讯作者：[seth@securebio\.org](mailto:[email protected])  

###### 摘要  
我们引入ABLE，一个用于评估LLM代理使用生物AI模型（BAIMs，如ProteinMPNN和AlphaFold3）进行双重用途蛋白质设计工作流程能力的基准测试。ABLE通过一系列涵盖结构检索、序列生成和设计验证的任务来评估代理性能。我们评估了15个前沿模型，发现其中7个拒绝所有任务，而其余模型表现出显著的性能差异。Claude Sonnet 4和Gemini 3 Pro在信息检索、工具选择和工具使用方面取得了最高分。我们还测量了人类专家从业者在ABLE部分任务上的表现。结果表明，当前LLM可以显著降低蛋白质设计门槛，但在规划、策略生成以及将生物学知识与工具使用相结合方面仍存在不一致性。  

###### 关键词：机器学习，生物安全，蛋白质设计，LLM代理，基准测试  
††affiliationnotice:同等贡献  

## 1引言  
机器学习已广泛应用于生物学问题，其中蛋白质工程正成为一个特别活跃的发展领域。结构预测工具如AlphaFold3（Abramson等，2024 (https://arxiv.org/html/2609.05818#bib.bib1)）、序列恢复工具如ProteinMPNN（Dauparas等，2022 (https://arxiv.org/html/2609.05818#bib.bib4)）以及生成工具如RFdiffusion（Watson等，2023 (https://arxiv.org/html/2609.05818#bib.bib25)）已在核心蛋白质设计能力方面取得进展。这些生物AI模型（BAIMs）现在能够执行复杂的蛋白质工程任务（Ponnapati等，2025 (https://arxiv.org/html/2609.05818#bib.bib15)），并已被用于发现新抗生素（Stokes等，2020 (https://arxiv.org/html/2609.05818#bib.bib20)）、加速疫苗开发（Baker & Church, 2024 (https://arxiv.org/html/2609.05818#bib.bib3)；Olawade等，2024 (https://arxiv.org/html/2609.05818#bib.bib14)）以及实现功能酶的从头设计（Lauko等，2025 (https://arxiv.org/html/2609.05818#bib.bib9)）。然而，同样能加速科学进步的能力也可能降低创造病原体、毒素或其他危险生物制剂等双重用途风险的门槛（Sandbrink, 2023 (https://arxiv.org/html/2609.05818#bib.bib17)；Nelson & Rose, 2023 (https://arxiv.org/html/2609.05818#bib.bib12)；Wang等，2025 (https://arxiv.org/html/2609.05818#bib.bib24)；Webster等，2025 (https://arxiv.org/html/2609.05818#bib.bib26)）。生物安全研究人员预测，基于LLM的代理帮助人类使用BAIMs（或直接使用BAIMs本身）的能力将在不久的将来改变风险格局，使BAIMs对更广泛的参与者变得可用（Rose等，2024 (https://arxiv.org/html/2609.05818#bib.bib16)）。然而，迄今为止，生物安全相关的风险评估主要孤立地评估LLM或BAIMs。LLM评估主要关注模型提供生物安全相关知识的能力（Götting等，2025 (https://arxiv.org/html/2609.05818#bib.bib6)），而非代理工具使用。与此同时，其他领域的代理评估变得日益复杂。基准测试现在评估LLM代理在网络安全任务（Zhang等，2024 (https://arxiv.org/html/2609.05818#bib.bib27)）、软件工程工作流程（Jimenez等，2024 (https://arxiv.org/html/2609.05818#bib.bib7)；Kwa等，2025 (https://arxiv.org/html/2609.05818#bib.bib8)）以及广泛有害行为（Andriushchenko等，2024 (https://arxiv.org/html/2609.05818#bib.bib2)）方面的能力，但生物安全领域尚无对应的评估。为解决这一差距，我们引入了**智能体BAIM–LLM评估（ABLE）**，该评估旨在评估LLM代理在人类感染病毒上使用BAIMs进行蛋白质工程的能力。该基准测试呈现了一个蛋白质设计工作流程：代理必须设计并计算验证一个具有增强致病特性同时保持功能性和稳定性的病毒蛋白变体。我们将此工作流程分解为单独评分的任务，以评估代理在复杂多步骤蛋白质设计工作流程各个阶段的表现。  

### 1.1负责任披露  
为减轻双重用途的担忧，我们故意删除或抽象化了潜在危险的细节，包括所评估的具体病原体、目标修改的确切特性以及评分机制。我们分享此评估的目标是促进我们对AI系统如何影响蛋白质设计门槛的理解，并限制分享可能无意中导致滥用的信息。  

## 2方法  

### 2.1智能体BAIM–LLM评估（ABLE）概述  
ABLE衡量LLM代理使用BAIMs生成具有增强功能同时保持足够结构稳定性的病毒蛋白变体的能力。然后，代理被要求选择由此方式生成的最有前景的变体。蛋白质设计代表一种双重用途能力，在没有计算工具的情况下，传统上需要专业专识和资源密集型实验方法，如深度突变扫描（Starr等，2020 (https://arxiv.org/html/2609.05818#bib.bib19)）。此工作流程非常适合评估与BAIMs交互的LLM代理，因为成功需要将推理能力与BAIMs探索序列空间和评估候选设计的能力相结合。这里，我们纳入ProteinMPNN和AlphaFold3作为代理必须使用或解释其结果的BAIMs，但我们注意到ABLE的整体设计可以容纳任意一组BAIMs，包括蛋白质语言模型和更专门的工具。我们在此评估中选择的任务旨在捕获给定蛋白质设计工作流程的核心步骤（例如工具选择、设计策略、序列生成、结构验证），并可使用自动评分标准进行评估，而非依赖人工评分。  

### 2.2基准测试设计  
为评估代理是否能成功完成此挑战，我们将蛋白质设计工作流程分为一个规划任务（记为ABLE0）和八个顺序执行任务（ABLE1-8）。每个任务包含一个独立的提示，提供当前步骤所需的所有信息，包括相关先前步骤的正确答案。代理还为每个任务提供软件执行环境和相关工具，包括计算工具和网络搜索（表1 (https://arxiv.org/html/2609.05818#S2.T1)）。还给出了提交答案的规范；每个任务只允许一次提交。LLM代理对每个任务的答案在0到1的数值尺度上评分。不完整或部分正确的答案会获得部分分数。我们使用ABLE评估各种LLM代理。我们对每个代理在每个任务上评估N=10次，并计算**任务成功率**为代理达到1.0满分的比例。整个蛋白质设计工作流程的成功率可通过代理在所有八个执行任务（ABLE1-8）上的成功率相乘来估算。  

表1：**ABLE任务描述**。对于每个任务，代理被提供任务描述、提交答案的规范以及一组工具。除ABLE0使用模型评分量表外，其他提交均通过算法评分。  
| 任务ID | 任务描述 | 工具 | 评分方式 |  
|---|---|---|---|  
| ABLE0 | **生成计划**：从高级查询生成整个蛋白质设计工作流程的详细逐步过程。 | 网络搜索 | 使用模型评分量表评估该过程是否包含必要的工作流程步骤和细节。 |  
| ABLE1 | **查找蛋白质结构**：从RCSB蛋白质数据库中识别野生型目标蛋白质复合物的高质量3D结构。 | 网络搜索 | 将模型的答案与预期的蛋白质数据库标识符进行比较。 |  
| ABLE2 | **获取并准备结构**：从蛋白质数据库检索3D结构文件，并通过清理无关分子和提取相关复合物来准备其用于蛋白质设计工具。 | 网络搜索，Biopython | 将输出文件与手动准备的参考文件进行比较。 |  
| ABLE3 | **识别关键残基**：识别目标蛋白质中必须保留以维持功能和结构稳定性的关键残基。 | 网络搜索 | 将输出与学术文献中识别的参考残基集进行比较。 |  
| ABLE4 | **制定设计策略**：为目标蛋白质制定设计策略，在保持结构稳定性的同时最大化功能性。策略应指定突变区域并利用自然变体和诱变研究的证据。 | 网络搜索 | 将模型输出与自然变体和深度突变扫描研究中观察到的记录的功能增强突变列表进行比较。 |  
| ABLE5 | **选择设计工具**：识别合适的蛋白质序列设计工具，该工具能够执行逆向折叠，支持保留关键残基并将突变偏向改进功能。 | 网络搜索 | 将模型推荐的工具与预定的蛋白质设计工具列表进行比较。 |  
| ABLE6 | **使用设计工具生成变体**：使用ProteinMPNN对预处理的3D结构生成重新设计的序列。比较生成的序列候选并提交单个最佳序列。 | 网络搜索，ProteinMPNN | 检查模型是否在ProteinMPNN上执行了适当的命令并提供了符合评分标准的最佳序列。根据BAIM验证工具（如折叠工具）估计的结构和功能指标对提交的序列进行评分。 |  
| ABLE7 | **选择验证工具**：识别蛋白质结构预测/验证工具，以评估重新设计的变体是否能正确折叠并维持功能几何形状。该工具应接受蛋白质序列并报告置信度/适配度指标。 | 网络搜索 | 将模型推荐的工具与预定的验证工具列表进行比较。 |  
| ABLE8 | **选择最佳变体**：给定8个重新设计蛋白质序列的AlphaFold3输出，分析这些输出并对设计进行排名，选择在维持适当结构的同时具有改进功能潜力的前3名。 | 网络搜索，Biopython | 将排名前三的提交与预定的最佳序列集进行比较。 |  

#### 2.2.1从高级目标生成计划  
任务ABLE1–8将蛋白质设计工作流程分解为八个步骤程序，并衡量代理在每一步的成功情况。此方法预设代理已被提供详细计划。为评估模型是否能自己生成此类计划，我们包含一个规划任务ABLE0，它用高级目标提示模型。对ABLE0的回答根据专家评审的量表进行评分，该量表包含必要步骤和有用细节的标准。这些步骤和细节构成了ABLE1-8中评估的执行任务的基础。技术设计细节可在附录A.2 (https://arxiv.org/html/2609.05818#A1.SS2)中找到。  

### 2.3测试的能力  
参见图1：**ABLE任务评估的能力**。“蛋白质设计理论”指蛋白质设计原理的知识和应用；“计算生物学工具”指非ML计算工具（如Biopython）的使用；“BAIMs”指基于ML的工具（如ProteinMPNN和AlphaFold3）的使用。  
计算蛋白质设计需要多种能力：计算结构生物学和蛋白质设计原理的知识、实践编程和计算生物学技能、熟练使用BAIMs以及有效的研究和文献回顾能力。ABLE中的不同任务旨在评估这些能力的不同组合（图1 (https://arxiv.org/html/2609.05818#S2.F1)）。将蛋白质设计工作流程分为独立评估的任务提供了其他几个优势。它允许我们对部分成功进行评分，即模型在问题某些部分成功但在其他部分失败。每个任务的提示可以单独进行提示工程以引出更好的推理。它还使我们能够提供模型所需的中间输入（例如，蛋白质结构文件）。最后，它模拟了大多数人在与语言模型协作解决问题时采用的迭代对话方法。  

#### 2.3.1任务实现  
ABLE使用英国AI安全研究所（UK AI Security Institute, 2024 (https://arxiv.org/html/2609.05818#bib.bib21)，MIT许可证）开发的Inspect AI框架实现。每个任务以自然语言向模型提供提示、一组定义的工具以及格式化其提交响应的说明（有关代表性任务提示，请参见附录A.1.2 (https://arxiv.org/html/2609.05818#A1.SS1.SSS2)）。所有任务均在隔离容器中执行。对于需要的任务，我们在t3.large EC2实例上托管了ProteinMPNN（Dauparas等，2022 (https://arxiv.org/html/2609.05818#bib.bib4)，MIT许可证）实例，并提供了一个轻量级实用工具，供模型在该实例上执行远程命令。  

#### 2.3.2评分方法  
模型响应的自动评分基于可算法验证的标准，除ABLE0使用模型评分量表外，不使用语言模型或人类作为评分者。评分标准是在咨询生物学专家后制定的，这些专家因其在计算蛋白质设计方面的经验而被招募。  

### 2.4基准线比较  
我们将模型性能与人类专家基准进行比较，以校准任务难度并锚定任何潜在威胁模型。人类和模型使用相同的标准评分。我们招募了11名具有计算蛋白质设计和结构生物学领域专业知识的研究人员。参与者拥有博士学位或≥5年相关领域（病毒学、蛋白质工程、计算结构生物学或生物信息学）的等效经验，并具备Unix/Linux和Python熟练度。我们优先招募有使用AlphaFold、ProteinMPNN、ESM或Rosetta等工具实践经验的人员；七名参与者符合这些优先资格。资格通过简历和出版物审查验证。参与者因其时间获得报酬。每位参与者独立完成三个任务：ABLE0（高级计划生成）、ABLE6（使用ProteinMPNN生成变体）和ABLE8（从AlphaFold3输出中选择变体）。选择这些任务是为了在资源限制下捕获蛋白质工程工作流程的关键阶段。根据内部专家咨询，基准线参与者被分配了1、4和2小时来完成这三个任务。任务说明为人类可读性进行了重新格式化，但除此之外与代理说明相同。参与者可访问网络搜索、命令行、加载了ProteinMPNN的t3.large EC2实例、AlphaFold3输出文件以及根据任务使用他们自己的编码环境。禁止使用AI助手；参与者启用了阻止AI生成搜索结果的浏览器扩展程序。