智能体能否为化学反应定价？评估 LLM 在化学成本推理中的表现

# 智能体能为反应定价吗？评估大语言模型在化学成本推理上的表现

来源：https://arxiv.org/html/2605.07251

Yuyang Wu¹, Yue Huang², Shuaike Shen¹, Xujian Wang¹, Shuhao Zhang¹, Qiyao Xue³, Weichen Liu⁴, Runtian Gao¹, Jian Ma¹, Xiangliang Zhang², Olexandr Isayev¹

¹ 卡内基梅隆大学  
² 圣母大学  
³ 北卡罗来纳大学教堂山分校  
⁴ 匹兹堡大学

###### 摘要

大语言模型（LLMs）作为工具使用智能体的能力日益增强，相关基准测试涵盖了多种通用智能体任务。然而，对科学工具使用的严格评估仍然有限。在化学领域，近期的智能体能够规划合成路线并调用特定领域的工具，但评估往往依赖于精心挑选的演示、专家评估或“LLM作为裁判”的评分，而非基于精确、无需裁判的真实基准。为了填补这一空白，我们引入了化学采购成本估算任务，这是一个实际任务，要求智能体基于反应描述确立化学身份、检索供应商报价、选择有效的可购买包装、标准化数量并计算成本。我们提出了 **ChemCost**，这是一个包含 1,427 个可评估反应的基准测试，其真实基准基于涵盖 2,261 种化学品和 230,775 条供应商报价的冻结价格快照，支持标量评分以及对定位、检索、采购和算术错误进行阶段级别的诊断。为了评估鲁棒性，我们进一步构建了受控的噪声注入视图，扰动化学别名、数量表达式、缺失字段和输入格式。对前沿模型、开源权重模型以及化学专用 LLM 智能体的实验表明，工具访问是解决该任务的必要条件，但并非充分条件。最强的智能体在干净输入上仅在 25% 相对误差内达到 50.6% 的准确率，且在现实噪声下性能大幅下降。阶段级别分析进一步显示，失败源于脆弱的解析、无效的证据整合、无效的包装选择以及未收敛的工具使用。

## 1 引言

大语言模型（LLMs）已展现出作为工具使用智能体的强大能力。当与智能体框架集成时，它们可以在中间状态上进行规划，调用外部工具，根据反馈修订操作，并通过迭代交互完成多步骤任务 [33](https://arxiv.org/html/2605.07251#bib.bib33)。 prior work has evaluated these capabilities through benchmarks such as SWE-bench, WebArena, and ToolLLM [10](https://arxiv.org/html/2605.07251#bib.bib10), [38](https://arxiv.org/html/2605.07251#bib.bib38), [19](https://arxiv.org/html/2605.07251#bib.bib19), which test agents in software engineering, web interaction, and tool invocation environments. While these benchmarks have been instrumental in measuring general agentic competence, they primarily focus on broadly applicable tool orchestration and typically require limited domain-specific reasoning beyond the information exposed by the prompt or environment.

Prior work has evaluated these capabilities through benchmarks such as SWE-bench, WebArena, and ToolLLM [10](https://arxiv.org/html/2605.07251#bib.bib10), [38](https://arxiv.org/html/2605.07251#bib.bib38), [19](https://arxiv.org/html/2605.07251#bib.bib19)，这些基准在软件工程、网页交互和工具调用环境中测试智能体。虽然这些基准在衡量通用智能体能力方面发挥了重要作用，但它们主要关注广泛适用的工具编排，通常只需要提示或环境所暴露信息之外的有限特定领域推理。

在通用设置之外，LLM 也在科学领域，特别是化学领域，展现出越来越大的潜力。最近的系统如 ChemCrow [4](https://arxiv.org/html/2605.07251#bib.bib4) 和 Coscientist [3](https://arxiv.org/html/2605.07251#bib.bib3) 表明，语言模型可以支持化学合成规划，调用特定领域的工具并查询外部资源以辅助化学实验。然而，许多科学智能体的评估仍然集中在精心策划的演示、专家评估或高层任务成功上，相比之下，对那些要求智能体与结构化数据库交互、满足领域约束并执行定量决策的真实工业工作流程关注较少。

化学采购成本估算是此类工作流程的一个代表性例子。在化学工业和实验室规划中，估算生产目标化合物的成本对于路线评估、预算规划、供应商选择和可行性评估至关重要。这项任务要求智能体将化学知识与实际采购信息联系起来，而不仅仅是根据参数化知识生成文本答案。然而，对于 LLM 智能体来说，化学采购成本估算具有挑战性，因为它需要一系列相互依赖且受领域约束的操作，如图 1 [1](https://arxiv.org/html/2605.07251#S1.F1) 所示。给定目标化合物和反应规范，智能体必须解决模糊的化学名称，从定价数据库中检索供应商报价，在纯度和数量约束下选择有效的可购买包装，将反应比率转换为所需质量，并在指定的产率假设下汇总组件成本。任何阶段都可能出现错误：智能体可能将化合物映射到错误的标识符，检索到不正确的供应商条目，选择无效的包装，错误处理单位或化学计量比，或执行不正确的算术汇总。

与此同时，这种结构使该任务非常适合诊断性评估，因为每个中间步骤产生的输出都可以自动与真实基准进行检查。因此，化学采购成本估算为在实用工具使用和领域推理约束下评估科学智能体提供了一个现实且分阶段可验证的测试平台。

![Figure 1: Overview of the procurement cost estimation task and representative failure modes.](https://arxiv.org/html/2605.07251#S1.F1)

**图 1：** 采购成本估算任务概述及典型故障模式。

为了弥补这一空白，我们引入了 **ChemCost**，一个用于评估 LLM 智能体在化学采购成本估算方面表现的基准测试。每个实例呈现一个反应描述，同时隐去供应商价格和标准化分子标识符；智能体必须返回基于固定 1 mmol 限制性试剂规模标准化后的每克产品采购成本。**ChemCost** 包含来自五个互补来源的 1,427 个精心策划的反应记录：结构化反应数据库、命名反应教科书、*Organic Syntheses* 程序、逆合成路线集合以及手工制作的示例。真实基准是从涵盖 2,261 种化学品和 230,775 条包装级供应商报价的冻结快照中，根据固定采购规则确定性地计算得出的。解决一个实例需要确立化学名称、识别限制性试剂、检索并选择符合条件的供应商报价，以及汇总化学计量采购成本。智能体通过名称解析、报价检索、分子量计算和算术等工具进行交互。评估完全无需裁判，阶段级别的中间结果自动与冻结数据库进行验证。

为了在现实输入变化下压力测试鲁棒性，我们引入了一个四层噪声注入管道，扰动化学名称、反应数量、侧面信息和表面格式，同时保持真实基准不变。除了总体准确率外，**ChemCost** 还支持对科学工具使用成功与失败阶段的分析。日志轨迹显示，工具参与是必要的但不足够：主动智能体可能在多次调用后因非收敛的供应商检索或过早终止而失败。噪声注入显示，格式扰动是最强的拒绝触发因素，而空预测则通过模型间的不同机制产生，包括预算耗尽、未完成和拒绝。在结构上，路线深度是主要的难度因素，组件数量和产品分子量贡献了模型依赖的影响。总体而言，这些发现将采购推理框定为一个结构化的工具使用挑战，需要在嘈杂输入下进行可靠的定位、证据整合和定量状态跟踪。

我们的贡献总结如下：

- 我们将化学采购成本估算形式化为一个实用且在结构上具有挑战性的科学工具使用任务，其中智能体必须通过确立模糊的化学身份、检索碎片化的供应商报价、选择有效包装、标准化数量和执行精确成本汇总，从反应文本中恢复可计算的采购状态。
- 我们引入了 **ChemCost**，一个包含 1,427 个可评估反应的基准测试，其真实基准基于涵盖 2,261 种化学品和 230,775 条包装级报价的冻结供应商数据库。每个标签均根据采购规则确定性计算，实现了无需人工或 LLM 裁判的精确评分。
- 我们设计了一个受控评估协议，包括干净的结构化输入、噪声注入视图以及针对组件识别、工具轨迹、拒绝和成本准确率的阶段级别诊断。噪声套件扰动了化学别名、数量表达式、缺失字段和输入格式，同时保持相同的底层成本目标。
- 我们提供了对前沿、开源权重和化学专用 LLM 智能体科学工具使用的阶段级别诊断分析。我们发现，采购推理取决于智能体如何整合检索到的证据，而不仅仅是它们是否调用工具。格式噪声是最强的拒绝触发因素，而路线深度是任务难度的主要结构性驱动因素。

## 2 相关工作

**工具使用智能体基准。** 越来越多的工作评估 LLM 作为与外部环境交互的工具使用智能体的能力。现有的基准在几种现实应用环境中实例化了这个问题。软件工程基准，如 CodeAgentBench [36](https://arxiv.org/html/2605.07251#bib.bib36)，评估智能体在需要仓库检索、代码符号导航和测试的代码生成任务上的表现。网页和计算机使用环境，如 WebArena [38](https://arxiv.org/html/2605.07251#bib.bib38)，强调在页面状态变化下的多步骤导航和工具使用。结构化工具调用基准，包括 ToolLLM、T-Eval、METATOOL 和 AppWorld [19](https://arxiv.org/html/2605.07251#bib.bib19), [5](https://arxiv.org/html/2605.07251#bib.bib5), [9](https://arxiv.org/html/2605.07251#bib.bib9), [27](https://arxiv.org/html/2605.07251#bib.bib27)，更直接地关注 API 级行为，如工具选择、参数构建、工具组合和执行反馈。总体而言，这些基准极大地推进了对规划、工具编排和环境定位的评估。这些基准主要评估通用交互技能，其中与工具相关的信息通常在环境或任务指令中公开。科学领域提出了不同的挑战，因为有效的工具使用通常需要领域知识、实体解析和对领域特定输入的解释。

**科学推理基准与化学智能体。** 超越通用的工具使用设置，科学领域要求智能体将工具交互与特定领域的推理相结合。科学 LLM 基准，包括 SciBench、ChemLLMBench、MolErr2Fix 和 ChemCoTBench [29](https://arxiv.org/html/2605.07251#bib.bib29), [8](https://arxiv.org/html/2605.07251#bib.bib8), [32](https://arxiv.org/html/2605.07251#bib.bib32), [15](https://arxiv.org/html/2605.07251#bib.bib15)，通过多项选择、自由形式问答和错误纠正任务，评估科学知识、定量推理、分子理解以及特定化学问题的解决能力。这些基准测试文本输入上的科学推理，但通常不需要长周期的工具交互 [24](https://arxiv.org/html/2605.07251#bib.bib24)。与此同时，ChemCrow、Coscientist、LLM-RDF 和 CheMatAgent 等化学智能体 [18](https://arxiv.org/html/2605.07251#bib.bib18), [3](https://arxiv.org/html/2605.07251#bib.bib3), [21](https://arxiv.org/html/2605.07251#bib.bib21), [31](https://arxiv.org/html/2605.07251#bib.bib31) 表明，LLM 可以规划合成、调用化学工具、查询结构化资源并与实验室自动化接口。这些系统展示了工具增强科学智能体的潜力，但缺乏用于领域接地工具选择、多步执行和无裁判结果验证的受控基准。我们的基准通过化学采购任务解决了这一空白，要求智能体解析化学实体、检索供应商信息、选择有效包装并在规则下汇总成本。

**带有成本估算的化学合成规划。** 长期以来，成本一直被认为是合成规划和制药开发中的实际约束。先前工作如 Chematica、ASKCOS 和 RouteScore [13](https://arxiv.org/html/2605.07251#bib.bib13), [28](https://arxiv.org/html/2605.07251#bib.bib28), [22](https://arxiv.org/html/2605.07251#bib.bib22) 以多种方式将成本纳入逆合成和路线评估，包括试剂可购买性启发式、搜索期间的固定目录价格、受约束的路线优化以及结构化的路线评分框架。然而，在这些设置中，成本通常被视为规划器的结构化输入，而不是必须由智能体恢复的数量。假设包装身份已解析，价格已检索，限制性试剂是从结构化反应表示中推断出来的，而不是从自由文本中推断。与先前工作不同，**ChemCost** 评估通用 LLM 智能体是否能够通过解析化学身份、检索供应商报价、选择符合条件的包装和执行成本汇总，从文本反应描述中恢复采购成本。

## 3 ChemCost 基准

![Figure 2: Data curation and noise-injection pipeline. (a) Construction of ChemCost from reaction sources to deterministic cost labels. (b) Noise injection over four domains.](https://arxiv.org/html/2605.07251#S3.F2)

**图 2：** 数据策划和噪声注入管道。(a) 从反应来源到确定性成本标签的 ChemCost 构建。(b) 在四个域上的噪声注入。

在本节中，我们介绍 **ChemCost**，这是第一个评估 LLM 智能体在多步化学采购成本估算方面表现的基准。如图 2 [2](https://arxiv.org/html/2605.07251#S3.F2) 所示，该基准包含具有从冻结供应商数据和明确采购规则得出的确定性标签的策划反应实例，以及用于智能体鲁棒性评估的受控噪声注入管道。

### 3.1 基准构建

**反应来源收集。** **ChemCost** 从五个互补的来源家族中获取 1,427 个反应。结构化记录来自 Open Reaction Database，命名反应条目来自有机化学教科书，经过实验验证的程序来自 *Organic Synthesis* [11](https://arxiv.org/html/2605.07251#bib.bib11), [16](https://arxiv.org/html/2605.07251#bib.bib16), [23](https://arxiv.org/html/2605.07251#bib.bib23)。路线级集合取自 PaRoutes 和 ChemPU [7](https://arxiv.org/html/2605.07251#bib.bib7), [20](https://arxiv.org/html/2605.07251#bib.bib20)，以及一组手工制作的校准示例。每个来源都根据特定来源的提取规则进行处理，如表 2 [2](https://arxiv.org/html/2605.07251#A2.T2) 所示，并通过产率、结构和成本组件过滤器。

**反应提取与标准化。** 所有来源首先转换为统一的反应模式，包含反应标识符、产品规范、产率和组件列表。组件角色被标准化为固定清单：*reactant*（反应物）、*catalyst*（催化剂）、*base*（碱）、*reagent*（试剂）和 *solvent*（溶剂）。数量表示为相对于限制性试剂的当量，催化负载量以 mol% 转换为 $e_i = \text{mol}\% / 100$。在此标准化之后，限制性试剂的当量为 1.0，因此 1 mmol 限制性试剂规模为组件 $i$ 分配 $e_i$ mmol 的量。溶剂被排除在成本计算之外，但保留用于组件识别评估。我们在计算真实基准之前，过滤掉缺少产品、产率无效或没有成本非溶剂组件的记录。