SimSkill：一个用于自主掌握交通仿真的终身学习AI代理

# SimSkill：面向交通模拟自主掌握的终身学习智能体
来源：https://arxiv.org/html/2609.03753  
Qi Liu  
所属机构：吉林大学交通学院，吉林省长春市人民大街5988号，邮编 130022  
Qinzheng Wang  
所属机构：吉林大学交通学院，吉林省长春市人民大街5988号，邮编 130022  
Yiming Bie  
所属机构：吉林大学交通学院，吉林省长春市人民大街5988号，邮编 130022  

###### 摘要  
随着大语言模型（LLM）能力的不断增强，AI系统的长期价值不仅在于解决单个请求，还在于能否将经验与积累的知识转化为持久、可复用的能力。我们提出了 **SimSkill**，一个围绕 **SUMO（Simulation of Urban MObility）** 交通模拟器构建的自演化智能体。SimSkill 通过识别能力缺口、生成并解决与环境相关的任务、利用动作-批评循环验证解决方案，并将经验整合到情景、程序与语义记忆中，而无需更新骨干模型。通过自主探索，它构建了一个覆盖交通模拟工作流的可复用技能库。我们在两个保留基准测试集上使用三种骨干大语言模型与独立的基于产物的验证方法对 SimSkill 进行了评估。SimSkill 将验证通过的任务完成率提升了最高达 25 个百分点，消融实验显示程序性记忆与语义记忆具有互补贡献。其收益仍受限于骨干模型与计算预算：记忆机制并非对所有模型都有提升，也无法统一降低推理成本。更广泛地看，SimSkill 展示了一种设计范式：自然语言用于保存和组合计算能力，而可执行工具与代码提供精确且可重现的执行。所有代码与实验数据已在 https://github.com/qiliuchn/SimSkill-V1 公开。

## 1 引言  
人类智能依赖于知识与经验的积累。人们在既有概念、流程与经验的基础上解决问题，而非每次都从头开始。人工智能正日益需要这种能力。随着大语言模型能力的增强，AI 系统的长期价值不仅取决于其对单个请求的响应质量，还取决于它能否将自身经验与已积累知识转化为持久、可复用的能力。基于大语言模型的自主智能体通过结合语言模型推理与规划、工具使用、环境反馈和记忆，为实现这一能力提供了路径 [35, 42, 46]。这种需求在需要重复建模、工具使用和验证的技术领域尤为重要。交通模拟即为一个典型领域。现有的交通模拟智能体主要关注完成单个建模或分析任务，对保留和复用已验证流程、领域知识及早期任务经验的支持有限。因此，核心挑战在于开发一个能够在连续任务中积累经验并将其转化为可复用能力的智能体。这一挑战正是终身学习的核心，即智能体在持续获取与整合新知识的同时，保留先前习得的能力 [48]。Voyager 通过在 Minecraft 中的开放式探索展示了这一范式的潜力，其采用自动课程体系与不断增长的可执行、可组合技能库 [34]。后续研究进一步强调技能作为将短暂交互体验转化为可复用行为的有用抽象 [41]。这些研究表明，智能体可以在不反复更新底层大语言模型参数的情况下，在系统层面实现提升。它们也揭示了三个基本问题：如何通过自主探索生成有用经验，如何将这些经验提炼为可迁移能力，以及如何组织积累的知识以在智能体持续学习过程中保持其效用。

交通模拟为研究这些问题提供了天然场景。它是评估交通基础设施、运营与管控策略的重要工具 [3]。SUMO 尤其是广泛使用的微观多模态交通模拟开源平台 [2]。然而，有效使用 SUMO 需要大量交通知识与软件专业知识，这对不熟悉的用户构成了障碍 [9, 11]。近年来基于大语言模型的交通模拟系统（如 ChatSUMO [18] 和 SUMO-MCP [43]）通过将自然语言请求转化为可执行工作流，减轻了这一负担。这些系统主要关注帮助智能体完成用户指定的模拟任务。因此，为建模、校准、控制和分析所开发的流程与经验并未在连续任务中系统性地保留与复用。这一局限性十分重要，因为交通模拟研究具有高度组合性。复杂研究通常建立在早期任务开发的能力之上，包括网络构建、需求建模、模拟控制、校准、优化与结果解释。同时，可执行模拟与量化输出为测试与优化这些能力提供了直接证据。因此，一个互补的问题仍未充分探索：智能体能否自演化并自主学习高级交通模拟能力？

为填补这一空白，我们提出了 **SimSkill**，一个用于终身掌握 SUMO 的自演化大语言模型智能体。SimSkill 不仅将 SUMO 视为待控制的工具，更将其视为可探索并逐步掌握的环境。智能体自主提出超越当前能力的任务，通过尝试与评估这些任务进行学习，并将可复用的结果整合到持久记忆中。SimSkill 将持久记忆分为三种互补形式：情景记忆保存完整的尝试与证据，程序性记忆存储可复用技能（可能结合自然语言指令与可执行资源），语义记忆存储结构化、相互关联的领域知识。通过这一过程，单个任务的经验逐步整合为可支持未来任务的程序性与语义知识。

虽然实例化于 SUMO，但 SimSkill 反映了一种更通用的自演化 AI 系统设计原则。其高级控制逻辑通过自然语言指令指定，而非针对每个领域任务硬编码工作流。设计者以语言表述目标、原则、知识与可复用流程，大语言模型则将这些描述作为选择、适配与组合可执行组件的连接层。这种分工类似于人类社会积累能力的方式：语言以灵活的形式保存、传递与重组知识和技能，而专用工具、算法与代码提供精确、高效且可重现的执行。自然语言因此不仅是用户界面或文档，而是一种组织媒介，随着经验的积累，可通过它协调与重构计算能力。从这个意义上说，SimSkill 体现了自演化智能体的一种新兴设计范式，其意义超越交通模拟领域。

本工作的主要贡献如下：
- • 将交通模拟器掌握问题表述为终身智能体学习问题，并引入 **SimSkill** 框架，该框架在自主课程生成、基于环境的任务执行与经验整合之间形成闭环。与目标仅限于当前模拟研究的系统不同，SimSkill 以自主跨任务能力获取与持久系统级演进为核心目标，无需更新骨干大语言模型。
- • 开发了显式的三部分记忆架构及其完整生命周期。情景记录保存尝试与证据，程序性技能将可调整指令与可重现的可执行资源结合，相互关联的语义页面保存声明性知识；有限的检索、摄入、合并与校验机制确保这些产物在集合增长时仍保持可复用性。在五天约80小时的自主运行中，SimSkill 积累了150项程序性技能与153页语义记忆，涵盖交通模拟实践的主要阶段。由此产生的产物可检查、可编辑、可组合、可跨兼容骨干模型迁移。
- • 在两个包含40个任务的保留基准测试集上，使用三种大语言骨干模型、独立验证与五条件消融实验对 SimSkill 进行评估。SimSkill 在 DeepSeek-V4-Pro 上相比原生 Claude Code 将验证通过完成率分别提升了10与20个百分点（在 V1 与 V2 基准上），在 Qwen3.7-Max 上 V1 基准提升25个百分点（V2 基准上完成任务数从0提升至2），但在 GLM-5.2 上未显示提升。消融实验表明程序性与语义记忆具有互补贡献，且模型相关的准确率-成本权衡存在差异。

本文其余部分结构如下：第2节回顾相关工作，第3节阐述 SimSkill 的概念基础、记忆架构、学习过程与 SUMO 实例化，第4节追踪代表性的学习与记忆维护实例，第5节描述实验与结果，第6节总结全文。附录提供代表性基准任务执行轨迹，展示推理过程中程序性与语义记忆的使用方式。

## 2 相关工作  
SimSkill 位于四个研究领域的交叉点：语言模型自我改进、经验驱动的终身学习、大语言模型智能体长期记忆，以及基于大语言模型的交通模拟。

### 2.1 大语言模型的自我改进与自演化  
关于自演化大语言模型的研究探索模型如何生成用于自身改进的经验与反馈 [32]。一类工作构建减少人类监督的训练数据：Self-Instruct [37] 从模型自身的生成中引导指令遵循数据，并使用过滤后的示例进行指令调优；类似地，“大语言模型可以自我改进” [12] 在无标签问题上选择高置信度的推理-答案对并在其上微调模型，而强化自训练则将模型生成样本与基于奖励的过滤和训练相结合 [10]。这些方法通过将自生成输出转化为参数更新来改进模型本身。另一类工作通过交互、探索与反思改进行为：Autotelic [5] 智能体可以提出目标并在环境反馈中获取能力，而 AppAgent [44] 通过自主探索或演示学习智能手机应用的操作知识。反思提供了一种互补的经验来源：Reflexion [28] 将任务反馈转化为存储在情景记忆中的口头反思，使智能体无需更新模型权重即可调整后续尝试；Recursive Introspection [26] 则训练模型在多轮次中修正不成功的尝试。这些研究共同确立了后续自主智能体的两个核心观点：有用经验可以主动生成而非被动提供；对失败尝试的反馈本身可成为学习信号。SimSkill 吸收了这两个观点，但目标是在智能体系统层面实现提升，将基于环境的经验提炼为持久的程序性与语义记忆，用于未来任务的复用，无需更新骨干模型。

### 2.2 经验驱动的终身学习智能体  
终身大语言模型智能体旨在延长的交互序列中获取、保留与迁移能力 [48]。适应可能通过持续参数更新发生，或通过非参数机制（保持模型固定并积累外部记忆）实现。后者避免了重复训练，使获取的能力可直接检查，但也提出了关于课程设计、经验抽象、检索与遗忘的难题。Voyager [34] 是这种方法的经典示例，在 Minecraft 的开放世界环境中，它结合了自动课程体系、基于执行反馈的迭代改进以及不断增长的可执行技能库。相关的 Minecraft 智能体使用基于文本或多模态的记忆支持长期规划与广泛任务覆盖 [50, 38]。终身机器人库学习 [33] 将类似原则转移到具身操作，通过自主引导探索与可复用机器人技能的持续抽象相结合。这些工作证明了外部技能库的价值，但其主要环境是游戏与具身控制。近期研究更明确地将技能视为可维护产物：AutoSkill [41] 从交互轨迹中提取可复用技能；SkillOpt [40] 进一步将文本技能的改进表述为受控优化过程，仅在提升保留集性能时保留编辑。LifelongAgentBench [47] 表明，重放原始经验常受无关信息与上下文窗口限制。这些证据支持抽象而非无差别转录积累。SimSkill 将这一研究方向扩展到交通模拟，引入了更丰富的程序性与语义记忆表示及管理机制。

### 2.3 大语言模型智能体的长期记忆  
长期记忆使智能体能够使用模型参数与当前上下文窗口之外的信息 [46]。检索增强生成 [17] 确立了在推理时提供外部知识的价值，但传统 RAG 通常假设语料库独立于 [原文截断]