立场：是时候用一个自进化的操作系统层来虚拟化基础模型了

# 职位：是时候通过自进化操作系统层虚拟化基础模型  
来源：https://arxiv.org/html/2609.19203  
Suparna Bhattacharya  
Tarun Kumar  
所属机构：Hewlett Packard Enterprise  
Cong Xu  
所属机构：Hewlett Packard Enterprise  
Satish Kumar Mopur  
所属机构：Hewlett Packard Enterprise  
Jiahao Li  
所属机构：Hewlett Packard Enterprise  
Ashish Mishra  
所属机构：Hewlett Packard Enterprise  
Aalap Tripathy  
所属机构：Hewlett Packard Enterprise  
Annmary Justine Koomthanam  
所属机构：Hewlett Packard Enterprise  
Martin Foltin  
所属机构：Hewlett Packard Enterprise  
Ian Foster  
所属机构：芝加哥大学计算机科学系 & 阿贡国家实验室  

###### 摘要  
人工智能应用已从单一、单体的基础模型（FM）转向复合型代理系统。然而，当今的技术栈仍然碎片化：尽管协议（例如 MCP、A2A）简化了工具/代理连接，但每个框架都内嵌了用于状态、内存、预算和防护栏的隐式运行时，导致行为不可移植且治理脆弱。这类似于操作系统出现之前的计算时代，当时每个程序都重新实现了基础服务。本文认为，该领域现在需要一个基础模型操作系统（FMOS）：一个虚拟化 FM 交互的系统层，类似于虚拟机抽象物理硬件的方式，为应用程序提供专用、可信 FM 实例的错觉，并具备有效的无限能力。在内部，FMOS 编排跨内存层的知识、模型选择与资源分配，以及验证与策略执行。就像人类大脑在快速直觉和慢速深思之间切换一样，FMOS 学会何时进行干预、何时让推理直接进行，并基于运营经验持续调整其策略。  

###### 关键词：机器学习，ICML  
††附属声明：同等贡献  

## 1 引言  
围绕基础模型（FM）的热潮推动了其在医疗、金融、制造和客户服务等多个行业的广泛应用，促使向复合人工智能系统（Zaharia 等，2024 (https://arxiv.org/html/2609.19203#bib.bib24)）转变，其中多个模型和模块协同工作（Kandogan 等，2024 (https://arxiv.org/html/2609.19203#bib.bib7)；Santhanam 等，2024 (https://arxiv.org/html/2609.19203#bib.bib16)；Wu 等，2023 (https://arxiv.org/html/2609.19203#bib.bib20)；Zhuge 等，2024 (https://arxiv.org/html/2609.19203#bib.bib26)；Liu 等，2025 (https://arxiv.org/html/2609.19203#bib.bib23)）。新的计算工作负载不断产生，众多代理试图访问信息、算力、物理设备等，以解决可能有界的任务（“预测明天的天气”）或开放式的任务（Hughes 等，2024 (https://arxiv.org/html/2609.19203#bib.bib4)）（例如，“更多地了解催化剂”），或两者兼而有之（例如，合作“检测、解决和预防 IT 运营中的事件”以实现自主数据中心）。在此类工作负载中有效利用 FM 需要自进化能力，即 FM 系统的知识通过准确的数据、逻辑和新观察持续增强；推理逐步增强、适配并验证以确保符合日益增长的期望；并优化利用以满足特定用例的资源约束。然而，当今的代理栈仍然碎片化。每个框架都实现自己的横切服务——上下文管理、跟踪、工具执行和验证——迫使一些应用程序在无法复用基础的情况下重新构建组件。即使单独的上下文管理，在不同工具中也存在显著差异：一些维护被动压缩，而另一些则主动将工件外部化到代理文件系统（Cursor, 2026 (https://arxiv.org/html/2609.19203#bib.bib47)）。结果是操作系统出现前的局面：核心服务被反复重新实现，改进无法传播，系统级优化和治理难以执行。  

在本文中，我们主张，从独立 FM 到复合代理系统的快速转变造成了缺失的系统层。我们认为有必要引入一种新的抽象来弥补这一缺口：由基础模型操作系统（FMOS）实现的虚拟基础模型（VFM）。FMOS 虚拟化对物理 FM 的访问，并暴露稳定的 VFM 接口，同时为上下文和内存管理、知识增强、推理控制、资源分配以及安全/可信执行提供共享的、可学习的服务。通过将这些关注点下沉到应用程序之下，FMOS 允许开发人员基于一致的抽象编写代理逻辑，而系统层则持续优化、升级和治理跨异构工作流和代理循环的执行——使复合系统能够大规模演进。  

图 1：FMOS 将代理逻辑与模型资源解耦，实现可扩展、安全和自进化的代理。VFM 为应用程序提供无限专用资源的错觉。  

## 2 代理系统缺失的系统层  
复合代理系统正迅速成为基础模型的主流部署模式，但技术栈缺乏一个类似于操作系统为传统软件提供的系统层：稳定的执行语义、共享服务和可执行的治理。  

### 2.1 当前的碎片化：框架激增而无共同基础  
尽管向复合 FM 系统快速迈进，但支持软件栈仍然分裂。实际上，采用编排框架（例如，AutoGen、LangChain、Claude Code）意味着继承一个特定于框架的运行时，该运行时固定了执行语义：如何组装提示、如何表示状态、如何保留工具输出、如何重试失败、如何跟踪预算以及如何应用安全检查。由于大多数语义未以可移植接口的形式暴露，两个逻辑相似的代理在不同工具中可能表现出实质不同的行为、可靠性和治理属性。  

协议工作减少了集成层的摩擦。模型上下文协议（MCP）和代理到代理（A2A）标准化了与工具/资源的连接和能力发现（Anthropic, 2025b (https://arxiv.org/html/2609.19203#bib.bib39)；Google Developers, 2025 (https://arxiv.org/html/2609.19203#bib.bib40)）。但它们并未定义系统层：可靠、可治理执行的可移植契约。以下空白依然存在：  

- • 状态和内存语义：跨会话身份、持久性、共享和重放/检查点。  
- • 可观测性和可审计性：包含 LLM 请求、工具调用、来源和决策路径的跟踪。  
- • 资源治理：跨工具/模型/验证的预算、配额和多租户。  
- • 信任执行：策略应用（Kumar 等，2026 (https://arxiv.org/html/2609.19203#bib.bib75)）、升级以及对敏感操作的默认安全中介。  
- • 模型中介：受控升级和回滚下的路由/缓存/物化。  

缺少这些契约，团队在每个框架内重建定制的“迷你平台”。改进无法跨应用程序传播，系统级优化和治理仍然脆弱——这是一种操作系统前模式，其中库存在，但共享执行语义缺失。最近的系统向此方向有所尝试——AIOS（Mei 等，2024 (https://arxiv.org/html/2609.19203#bib.bib11)）、MemGPT（Packer 等，2023 (https://arxiv.org/html/2609.19203#bib.bib13)）和 Llumnix（Sun 等，2024 (https://arxiv.org/html/2609.19203#bib.bib18)）探索了调度、内存虚拟化或服务级编排——但该领域仍然缺乏一个统一的虚拟化边界，在一个稳定抽象下共同治理知识、模型推理、验证和信任。我们的主张是，这种统一边界是复合系统跨应用程序可重用、可治理和可优化所需的缺失系统层。  

### 2.2 统一工作流和代理循环：缺失的执行基底  
企业部署越来越多地混合两种执行模式：(i) 具有明确结构和可审计性的流程驱动管道（Anthropic, 2024 (https://arxiv.org/html/2609.19203#bib.bib44)），以及 (ii) 长时间跨度上计划-行动-反思的代理循环（LangGraph, 2025 (https://arxiv.org/html/2609.19203#bib.bib45)；Willison, 2025 (https://arxiv.org/html/2609.19203#bib.bib43)；Anderson, 2025 (https://arxiv.org/html/2609.19203#bib.bib42)；Schmid, 2025 (https://arxiv.org/html/2609.19203#bib.bib46)）。如今，这两种模式很少共享一个公共基底。工作流假设类型化的步骤、稳定的边界和可预测的日志记录；循环则假设开放式的控制流、机会性的工具使用、回溯和自适应的上下文增长。框架将这些假设编码为不兼容的运行时和状态格式，因此组合工作流和循环需要脆弱的粘合代码，并在企业保障最为重要的接缝处产生不一致的可观测性和策略执行。  

如图 1 (https://arxiv.org/html/2609.19203#S1.F1) 所示，核心缺口在于缺少适用于状态、内存、预算和中介的可移植系统层契约，这些契约应统一应用于各种执行形式：长时间运行代理的检查点/恢复、工件持久化和检索、分层成本/延迟/工具配额，以及对敏感操作的原则性验证升级。具有单一虚拟化边界的系统层可以将工作流和循环视为两种可调度的执行形式，基于共享原语运行，无论下一步是“运行节点”还是“计划下一步行动”，都强制执行相同的上下文/内存管理、跟踪、资源治理和信任控制。这种共享基底支持混合系统，结合了工作流的稳定性和循环的灵活性，而不牺牲可重复性或治理。  

## 3 立场：由 FMOS 实现的虚拟基础模型  
我们正式阐述我们的立场：代理部署现在需要一个独特的系统层——基础模型操作系统（FMOS）——其主要抽象是虚拟基础模型（VFM）。VFM 向应用程序提供专用、可信 FM 实例的错觉，具备有效的无限能力，而 FMOS 中介知识的检索和更新方式，如何针对任务调整模型和推理，以及如何在明确的成本/延迟/安全预算下分配资源。  

自进化作为核心原则。与保持底层硬件保真度的传统操作系统虚拟化不同，FMOS 虚拟化旨在通过自进化实现渐进式的质量提升。从长期交互跟踪中，FMOS 学会更新提示和记忆——使系统无需重新训练底层模型即可改进。这种进化通过版本控制、金丝雀部署和回滚机制进行管理，确保改进安全地跨应用程序传播，同时在需要时保持可重复性。  

参考图注 图 2：支持代理工作流的系统环境服务  

为何是现在？三项进展使 FMOS 变得适时。首先，企业代理部署已超出基础设施能力：组织正在从试点扩展，但缺乏足够的治理和集成框架。其次，协议标准化已达到临界质量：MCP 和 A2A 实现了工具/代理互操作性，但用于知识管理、推理验证和策略执行的系统层抽象仍然缺失。第三，复合系统已证明优于单体扩展：最先进的 FM 本身就是复合架构，验证了未来在于灵活的编排而非不断扩大的单个模型。一波“个人 AI 助手”技术栈（例如，Moltbot、Agent Zero 和 Claude Cowork（Heim, 2026 (https://arxiv.org/html/2609.19203#bib.bib64)；AgentZero, 2026 (https://arxiv.org/html/2609.19203#bib.bib66)；Rogers, 2026 (https://arxiv.org/html/2609.19203#bib.bib65)））表明对在本地文件上操作的代理有需求。它们是天然的 FMOS 测试平台，因为它们需要沙箱化、持久内存和策略管理的操作中介，并将受益于虚拟化语义。  

这种系统层框架实现三个目标：  

1. 1\. 带有协同演进的统一服务：上下文管理、工具编排和验证在 FMOS 层处理；学习到的改进传播到依赖的工作负载。  
2. 2\. 联合优化：FMOS 将知识检索、模型选择、推理配额和验证深度协调为一个组合优化问题——实现碎片化栈无法达到的效率。  
3. 3\. 跨企业可重用性：领域特定的技能、知识增强和推理策略可以定义一次，并在跨应用程序和团队中重用。  

我们在附录 A (https://arxiv.org/html/2609.19203#A1) 中正式阐述了这三个目标，并在 A.5 (https://arxiv.org/html/2609.19203#A1.SS5) 中进行了总结。实现 FMOS 需要合作研究来定义抽象、学习机制和治理框架，使 FM 虚拟化既实用又有原则。  

## 4 虚拟 FM 系统环境服务  
我们现在概述实现虚拟 FM 环境所需的一些关键机制和 FMOS 系统级服务。首先讨论虚拟化条件，然后是一些系统环境服务的示例。  

### 4.1 FM 虚拟化条件  
正如虚拟内存允许应用程序表现得好像可以访问（潜在的）无界内存一样，虚拟基础模型为人工智能应用程序提供了配置和请求具有（潜在的）无界能力的基础模型的能力。我们从计算机架构中的虚拟化需求（Popek 和 Goldberg，1974 (https://arxiv.org/html/2609.19203#bib.bib50)）（详情见附录 A (https://arxiv.org/html/2609.19203#A1)）中进行类比。  

由虚拟机监控器（VMM）提供的虚拟环境（虚拟机）具有三个关键属性：效率、资源控制（安全）和保真度（等价性）。如果敏感操作集是特权操作集的子集，则该架构是可虚拟化的，其中非特权操作原生执行，而特权操作在从用户环境调用时会陷入陷阱，从而将控制权传递给 VMM。类似地，VFM 虚拟化了更高级的 FM 能力，例如知识、模型和推理。效率和资源控制的关键属性适用于这些资源（例如，上下文窗口或推理操作）。第三个属性不是保真度，而是通过自进化实现渐进式的质量提升。  

LLM/FM 被非正式地比作解释人类语言的处理器。因此，定义哪些构成敏感和特权操作的概念要比针对固定 ISA 硬件处理器复杂得多，并且需要基于 VFM 控制的能力（知识、逻辑）性质进行学习（离线或上下文中），并可能使用针对 FM 陷入陷阱的模型虚拟化协议进行定制，类似于 MCP 如何为经过函数调用能力训练的 FM 启用工具调用。一旦 FM 陷入陷阱（例如，知识陷阱），被激活的 FMOS 能力（如知识增强）也需要是可学习的，以便能够随时间进化。  

### 4.2 VFM 系统环境要求  
VFM 必须支持一个原型的 FM 用户工作流（图 2 (https://arxiv.org/html/2609.19203#S3.F2)），该工作流包括输入上下文。