迈向自适应物理AI：LLM代理能否管理长周期物理任务？

# 迈向自适应物理人工智能：大语言模型智能体能否管理长时程物理任务？
来源：https://arxiv.org/html/2609.13436
###### 摘要

大语言模型（LLM）智能体为自主管理无需人类干预的长时程物理任务提供了一条有前景的途径。然而，物理任务要求智能体持续观察环境、执行关键动作，并在环境变化时保持有效性。现有方法要么需要大量数据和重新训练，要么主要关注在虚拟世界中运行的智能体。本研究探索构建自适应物理人工智能智能体的可行性，该智能体以零样本方式管理长时程物理任务，并在无需人类干预的情况下适应环境变化。我们设计了一个集成规划、工具调用、观察和验证的多智能体框架，并在不同天气模式下的农业任务中与强化学习（RL）智能体进行评估。结果表明，零样本LLM智能体在相同天气模式下可以达到与RL智能体相当的管理效果，并且在环境偏移评估中比RL适应性更强，这为自适应物理人工智能智能体指明了一条有前景的道路。

## 1 引言

人工智能智能体的兴起，例如OpenClaw（Roumeliotis and Sapkota, 2026 (https://arxiv.org/html/2609.13436#bib.bib33)），为使用人工智能系统自主管理物理世界任务、最小化或无需人类干预开启了可能性。与问答和编程不同，ChatGPT（OpenAI, 2022 (https://arxiv.org/html/2609.13436#bib.bib34)；OpenAI, 2023 (https://arxiv.org/html/2609.13436#bib.bib35)）和Claude Code（Anthropic, 2026 (https://arxiv.org/html/2609.13436#bib.bib36)）等系统已在这些领域展现出强大能力，但物理任务要求智能体在长时间内持续与物理世界交互并进行推理。在这种*长时程*任务中，AI智能体必须反复观察物理现象，做出不可逆转后果的决策，并验证这些决策是否达到了预期结果。例如，我们设想未来用户可以让AI智能体“照看我的植物”。然后，该智能体将制定管理目标，监测天气和植物状况，决定何时执行灌溉或施肥等关键操作，并验证这些操作是否合适，所有这些都无需人类干预。这类智能体可以显著减少管理长时程物理任务所需的重复性人类努力。我们将此类系统称为*物理AI智能体*。

尽管前景广阔，但构建有效的物理AI智能体仍然充满挑战。首先，传统方法通常需要大量的高质量交互数据，而在物理世界中收集这些数据成本高昂甚至不切实际。例如，先前研究表明，使用强化学习训练有效的供暖、通风和空调（HVAC）控制器可能需要相当于数十年的建筑运行数据，如果管理不当（An et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib39)；Xu et al., 2025 (https://arxiv.org/html/2609.13436#bib.bib16)）。其次，即使有足够的训练数据，当部署环境与训练环境不同时（例如为一栋建筑训练的HVAC控制器部署在另一栋建筑中），所得的控制器也可能失效。更广泛地说，由于天气变化和传感器退化等因素，现实世界环境本质上是动态的（Yu et al., 2024 (https://arxiv.org/html/2609.13436#bib.bib15)）。因此，适应这种环境变化的能力是物理AI智能体的关键要求。

先前的工作已探索了应对这些挑战的多种方法。信息物理系统常用模型预测控制（Mayne et al., 2000 (https://arxiv.org/html/2609.13436#bib.bib37)）和强化学习（Sutton and Barto, 2018 (https://arxiv.org/html/2609.13436#bib.bib38)）等方法，包括提高数据效率的技术（An et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib39)；Xu et al., 2025 (https://arxiv.org/html/2609.13436#bib.bib16)）。然而，这些方法通常对环境变化敏感，当条件改变时需要新数据或重新训练。大型语言模型（LLM）和智能体框架的最新进展提供了另一条途径。OpenClaw（Roumeliotis and Sapkota, 2026 (https://arxiv.org/html/2609.13436#bib.bib33)）和Hermes（Nous Research, 2026 (https://arxiv.org/html/2609.13436#bib.bib40)）等系统可以解释高级目标、调用工具并自主执行多步骤任务。然而，大多数现有智能体在虚拟环境中运行，仍然依赖人类指导或验证（Wang et al., 2024b (https://arxiv.org/html/2609.13436#bib.bib41)；Zhou et al., 2024 (https://arxiv.org/html/2609.13436#bib.bib42)；Liu et al., 2025 (https://arxiv.org/html/2609.13436#bib.bib43)）。基于LLM的智能体能否自主管理长时程物理任务并适应环境变化，在很大程度上尚未得到探索。

本研究通过研究无需重新训练或人类干预的长时程物理任务管理，朝着自适应物理AI智能体迈出了一步。我们提出两个问题：（1）*智能体框架能否以零样本方式管理长时程物理过程，无需事先训练或微调，也无需人类干预？*（2）*当物理环境发生变化时，这样的智能体能否自主适应？*

为研究这些问题，我们设计了一个在规划、工具使用、观察和验证之间形成闭环的多智能体框架。该框架通过角色受限且信息访问受限的专门智能体分解决策，减少了无依据推理的机会，并在动作作用于环境前增加了独立验证。它还引入了反思引导的反馈，将先前动作的结果与未来的决策联系起来，使系统能够随着环境条件的演变持续适应。我们使用最先进的作物模拟器（Solow et al., 2025 (https://arxiv.org/html/2609.13436#bib.bib1)）评估该框架，该模拟器提供了天气、土壤湿度、养分状况和作物生长的详细观察，同时支持灌溉和施肥等管理操作。我们选择作物管理作为代表性的长时程物理AI任务，其中决策是反复做出的，其效果会随时间累积。该模拟器可在不同环境条件下进行可控、可重复的评估，并与最先进的RL基线进行直接比较。在本初步研究中，我们专注于仿真，将实际部署留待未来工作。

本文的贡献总结如下：
- • 我们设计了一个零样本多智能体框架，用于自主管理长时程物理任务，无需任务特定的训练、微调或人类干预。
- • 我们引入了物理AI的关键智能体设计机制，结合角色分离、受限信息访问和独立验证以缓解幻觉，并结合反思引导的反馈以支持对变化的物理环境的持续适应。
- • 我们在一个可重现的作物管理模拟器中实例化了该框架，并在长达241天的模拟中评估了其行为。结果表明，我们的零样本智能体框架在条件不变时达到了有竞争力的性能，在环境偏移下显著优于最先进的RL智能体，并且使用的肥料和灌溉量仅为RL所需的一小部分。

## 2 相关工作

先前关于物理世界任务执行智能体的工作可分为两大类：（i）传统的、基于非LLM的智能体，依赖经典控制或强化学习管理物理过程；（ii）LLM智能体，利用语言模型推理在物理环境中进行更有效的规划和行动。

### 2.1 信息物理系统的传统智能体

信息物理系统（CPS）的先前研究长期探讨计算系统如何通过反馈循环监控和控制物理过程（Lee, 2008 (https://arxiv.org/html/2609.13436#bib.bib2)；Rajkumar et al., 2010 (https://arxiv.org/html/2609.13436#bib.bib3)）。在建筑自动化和工业过程控制中，常用的方法包括基于规则的控制（Marik et al., 2011 (https://arxiv.org/html/2609.13436#bib.bib4)；Maddalena et al., 2020 (https://arxiv.org/html/2609.13436#bib.bib9)）、PID控制（Marik et al., 2011 (https://arxiv.org/html/2609.13436#bib.bib4)）和模型预测控制（MPC）（Afram and Janabi-Sharifi, 2014 (https://arxiv.org/html/2609.13436#bib.bib5)；Qin and Badgwell, 2003 (https://arxiv.org/html/2609.13436#bib.bib6)；Oldewurtel et al., 2012 (https://arxiv.org/html/2609.13436#bib.bib7)）。这些方法在特征明确的物理系统中有效，但通常依赖于手动指定的规则或显式系统模型（Marik et al., 2011 (https://arxiv.org/html/2609.13436#bib.bib4)；Oldewurtel et al., 2012 (https://arxiv.org/html/2609.13436#bib.bib7)；Serale et al., 2018 (https://arxiv.org/html/2609.13436#bib.bib8)；Maddalena et al., 2020 (https://arxiv.org/html/2609.13436#bib.bib9)）。近期工作探索了强化学习作为物理控制的一般范式，智能体通过与环境交互学习策略（Recht, 2019 (https://arxiv.org/html/2609.13436#bib.bib14)；Wang and Hong, 2020 (https://arxiv.org/html/2609.13436#bib.bib13)）。例如，Wei et al. (2017) (https://arxiv.org/html/2609.13436#bib.bib10)在仿真中训练了深度Q学习控制器；Chen et al. (2018) (https://arxiv.org/html/2609.13436#bib.bib11)使用无模型Q学习进行协调的热和通风控制；Azuatalam et al. (2020) (https://arxiv.org/html/2609.13436#bib.bib12)将RL应用于整栋建筑控制和需求响应。尽管RL相比固定控制器提高了适应性，但它仍然依赖于训练（Wang and Hong, 2020 (https://arxiv.org/html/2609.13436#bib.bib13)；Recht, 2019 (https://arxiv.org/html/2609.13436#bib.bib14)）。相比之下，我们的工作使物理AI智能体能够从实时环境反馈中适应，无需预定义的规则、系统模型或策略训练。

### 2.2 基于LLM的智能体

近期工作表明，大型语言模型可以被嵌入到结合推理、工具使用、记忆和反馈驱动修订的智能体循环中（Yao et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib17)；Shinn et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib18)；Schick et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib19)）。大多数LLM智能体的经验演示仍处于数字或模拟环境中。它们的动作通常在模拟世界（Park et al. (2023) (https://arxiv.org/html/2609.13436#bib.bib20)；Wang et al. (2024a) (https://arxiv.org/html/2609.13436#bib.bib21)）或软件系统（Zhou et al. (2024) (https://arxiv.org/html/2609.13436#bib.bib42)；Xie et al. (2024) (https://arxiv.org/html/2609.13436#bib.bib22)；Yang et al. (2024) (https://arxiv.org/html/2609.13436#bib.bib23)）中执行，而非物理世界。这些环境表明LLM智能体可以从数字反馈中规划和修改行为，但物理过程适应有所不同，因为反馈是嘈杂和部分的，并且试验在时间、材料或安全方面可能代价高昂（Dulac-Arnold et al., 2021 (https://arxiv.org/html/2609.13436#bib.bib30)；Ibarz et al., 2021 (https://arxiv.org/html/2609.13436#bib.bib31)；Seifrid et al., 2022 (https://arxiv.org/html/2609.13436#bib.bib32)）。具身LLM和视觉语言智能体已开始通过将高级语言推理与感知和底层控制连接起来，解决机器人学中的这一基础问题（Ichter et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib24)；Huang et al., 2023b (https://arxiv.org/html/2609.13436#bib.bib25)；Driess et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib26)；Zitkovich et al., 2023 (https://arxiv.org/html/2609.13436#bib.bib27)；Huang et al., 2023a (https://arxiv.org/html/2609.13436#bib.bib28)）。然而，许多这些系统依赖于机器人演示或预训练控制策略（Open X-Embodiment Collaboration, 2024 (https://arxiv.org/html/2609.13436#bib.bib29)）。因此，这些系统对于LLM智能体能否自主适应持续物理过程的变化提供的证据有限。我们的工作研究这种适应是否可以在无需重新训练或人类干预的情况下从实时环境反馈中涌现。

## 3 问题定义

不失一般性，我们聚焦于一个农业物理AI场景作为代表性案例研究，涵盖作物和植物的生长过程。农业管理是物理AI的一个良好压力测试，因为它结合了使具身决策变得困难的属性：长时间范围（完整的生长季节持续数月）、不可逆转的动作（施肥或灌溉动作不可撤销）和延迟奖励（产量在收获时观察）。

我们将问题形式化如下。在每个决策步骤t，智能体接收到一个环境观察o_t，它捕获作物及其生长条件的当前状态，并选择一个管理动作a_t，例如灌溉或施肥决策。因为动作的效果取决于当前环境和先前的干预，决策应考虑交互历史。我们将可用的历史表示为：
h_t = (o_0, a_0, ..., o_{t-1}, a_{t-1}, o_t), \quad a_t = \pi(h_t) \tag{1}
其中π表示决策策略。随着环境条件和作物响应在整个生长季节中演变，策略必须不断重新评估新的观察结果，并根据观察到的结果调整后续动作。

我们将问题表述为多目标优化。主要目标是在生理成熟时最大化作物产量Y，次要目标是避免不必要的干预和资源消耗。我们将整个生长季节的累积资源使用量化为 C = \sum_{t=0}^{T-1} c(a_t)，其中T表示生理成熟时间，c(a_t)表示与动作a_t相关的资源成本。问题的数学公式为：
\pi^{\star} \in \operatorname*{arg\,max}_{\pi} \left( \mathbb{E}_{\pi}[Y] - \mathbb{E}_{\pi}[C] \right) \tag{2}
其中λ ≥ 0控制作物产量和资源使用之间的权衡。此公式优先考虑成功的作物生长和产量，同时在额外的干预不能改善主要结果时鼓励资源高效的管理。

## 4 物理AI智能体框架设计

在本节中，我们介绍物理AI智能体框架的设计，这是一个零样本提示框架，用于执行长时程不可逆的物理任务。我们首先概述该框架（第4.1节 (https://arxiv.org/html/2609.13436#S4.SS1)），然后讨论物理AI智能体的两个关键设计问题：如何在闭环决策中缓解幻觉（第4.2节）...