运行时自适应计算迁移与LLM代理的自部署
摘要
文章描述了一个个人实验,涉及LLM代理,这些代理可以根据任务需求在不同的硬件基底之间迁移,探讨了代理身份和计算迁移的概念。
在我作为业余爱好进行的一些测试和研究中,我遇到了这篇文章中一个相当有趣的概念:用于LLM驱动的编排和隔离软件代理的实时迁移的系统。这篇文章非常接近我之前想亲自尝试的一个想法。为了说明这个实验,我认为我们首先需要区分两个概念:代理的持久基底和执行基底。我的代理将其大部分记忆存储在Pinecone中,而LLM通过OpenRouter API运行。与我的交互主要通过Telegram进行。然而,它的正常运行在一台具有512MB RAM的Orange Pi Zero H3上进行。使用这台机器的原因相当简单:功耗和可用性。Orange Pi可以24/7运行,代理作为一个消耗约20MB RAM的Go二进制文件实现,在PM2下运行。
问题出现在任务需要Orange Pi无法提供的更多计算能力时。为了解决这个问题,我使用了一台相当旧的计算机作为第二个执行基底:- Intel i3-2120 - 10GB RAM - GT 1030 2GB - Windows 10。实验性的想法是,代理可以检测到任务超出其当前环境的能力,并将执行迁移到另一台计算机。
在其中一次测试中,代理接收了一个与我的支出相关的任务。它检测到需要更复杂的处理,迁移到第二台计算机,并在那里继续执行。该任务包括分析到达我电子邮件的电子收据,提取相关信息,并生成一个组织好的Excel文件,其中包含我的支出。最后,结果通过Telegram返回给我。
有趣的地方并不在于任务本身,而在于架构发生的变化。代理并不完全依赖于它运行的硬件。它的持久记忆与其执行环境分离,LLM也不是物理地绑定到任一机器,因为它是通过API消费的。这甚至使得在迁移过程中更改模型成为可能。例如,我可以在正常任务中使用一个相对便宜的文本模型,当代理确定需要多模态能力时,切换到一个更合适的模型,比如Qwen多模态模型之一。
我还有一段短期记忆存储在JSON中,在执行过程中会被修改。这段记忆在不同实例之间可能会根据执行的任务而完全改变。这就是实验对我来说开始变得有趣的地方。如果代理从Orange Pi移动到PC,更改其使用的模型,更改其执行环境,修改其内部状态的一部分,并且稍后可以返回到另一个环境……我们到底将什么视为“代理”?是进程吗?是代码吗?是记忆吗?是持久身份吗?或者是所有这些状态之间的连续性?
在我的架构中,硬件开始看起来更像是一个临时的执行基底,而不是代理身份的基本部分。我仍在进行实验,并有几个问题需要解决。其中一个问题是让代理在迁移到Windows后,能够以受控方式设置虚拟化的Linux环境,以运行某些隔离任务。例如,一些OSINT任务或其他需要不同环境的处理过程。
我还感兴趣探索代理能在多大程度上动态选择不仅硬件,还有操作系统、模型、可用资源和每个任务所需的隔离级别。从某种意义上说,这开始看起来更像是一个逻辑实体,可以临时在不同的执行基底上具象化,维持状态之间的连续性。它甚至提出了另一个有趣的问题:如果在某个时刻代理可以创建两个同时执行不同任务的实例,我们是否仍然谈论同一个代理,还是从同一身份派生的两个代理?
我并不打算将其作为最终架构或特别革命性的东西来呈现。它主要是我个人正在开发的一个实验,旨在更好地理解代理自主性的真实含义,以及身份、记忆、模型和执行环境之间的分离可以延伸到多远。如果您有任何想法、建议、批评、类似工作的参考,或者只是对架构的疑问,我将非常有兴趣阅读。
相似文章
迈向自适应物理AI:LLM代理能否管理长周期物理任务?
本文探索使用LLM构建自适应物理AI代理,以零样本方式管理长周期任务,并展示与强化学习代理相比,它们能有效适应环境变化。
当云代理遇上设备代理:混合多智能体系统的经验教训
本文系统研究了结合云端LLM与端侧SLM的混合多智能体系统,揭示了任务依赖的最优架构,并挑战了“更多前沿算力总是能提升性能”的假设。
机器人使用代理
本文探讨了将LLM用作机器人控制代理的新兴趋势,类似于计算机使用代理,并研究了通过云人工智能在机器人生态系统中快速扩散智能的潜力。
Poor Man's Agentic Modeling: Simulating Large LLM-Agent Societies on a Laptop
This paper proposes a method for simulating large LLM-agent societies on a laptop by fitting low-parameter surrogate models from a few hundred queries, using a statistical-physics-based taxonomy to predict when this approximation holds. The approach is validated on EconAgent and several other simulations using DeepSeek-elicited agent behaviors.
TrajGenAgent:一种用于人类移动轨迹生成的分层LLM智能体
TrajGenAgent提出了一种分层LLM智能体框架,将宏观活动规划与微观时空实例化解耦,用于无需微调即可生成逼真的人类移动轨迹。它还引入了一种基于异常检测的评估方法,用于行为保真度。