大脑对长期运行智能体知道什么

冻结的模型是皮层。难的部分是决定皮层学习什么的那个器官。

数年来我们一直在构建相同的东西：一个框架。我们用脚手架包裹模型。记忆、工具、规划循环、上下文收集器、痕迹。我们将其全部视为临时管道。模型变得越来越智能，很快，下注的方向是，它将足够聪明，以至于大部分框架都会脱落。一个世界模型将在权重中某处形成，而那将成为心智。

这是个合理的赌注，而且规模扩展的故事已足够多次正确，以至于反对它是个赔钱的交易。但它的底层藏着一个没人验证过的假设：智能存在于权重之中，而它们周围的一切都是管道，是我们直到模型不再需要时才容忍的拐杖。

大脑是一个反例。它是我们拥有的唯一长期运行的智能体，而它并没有通过把所有东西放入一个系统来解决这个问题。

两种学习速度

1995年，McClelland、McNaughton和O’Reilly提出了一个读起来像bug报告的问题：为什么大脑需要两个记忆系统而不是一个？他们的答案成为了互补学习系统理论。关于记忆如何沉淀的更细致的故事比一个干净的双系统划分所暗示的更具争议性，但大致的分工基本站住了脚。海马体学习快。它一次就捕获单个经验，防止相似的经验相互模糊，并将结果以生动而脆弱的形式保存。新皮层学习慢。它随时间将许多经验折叠成分布式结构，即我们称之为知识的东西：概念、规律、技能。

存在两个系统的原因与智能体相关。如果你把一个单一震撼的经验以高学习率直接写入缓慢的分布式系统，你并没有存储它。你是覆盖了它。新的学习在旧权重上抹开，腐蚀了已有的东西。该领域称之为灾难性干扰，这正是要求一个系统既快速又永久时会出现的失败。大脑的解决方案是分工：在某个可丢弃的地方快速且廉价地捕获情景，然后将其逐渐教给缓慢系统，与其他所有东西交错进行，这样结构就能沉淀而不是碎裂。

快速情景捕获、一个选择门控、缓慢巩固。大部分被捕获的东西被释放。将快速经验直接写入缓慢结构会产生灾难性干扰；双速度分离正是解决方案。

快速情景捕获、一个选择门控、缓慢巩固。大部分被捕获的东西被释放。将快速经验直接写入缓慢结构会产生灾难性干扰；双速度分离正是解决方案。

你的智能体海马体是个糟糕的

现在看一个部署的模型。它的权重是冻结的。它承载着巨大的缓慢学习结构——关于语言、代码、因果以及情况通常如何发展的先验知识。1943年，Kenneth Craik将心智描述为携带一个小规模的世界模型，可以向前运行以预测接下来会发生什么。一个冻结的模型是该思想预测侧的一个强大版本。但预测只是长期运行心智所做的一半。另一半是发生在这个特定智能体身上的记录：它尝试了什么，它改变了什么想法，它学会了不再做什么。

称之为经验状态。一个预测性的世界模型能让智能体问接下来可能发生什么。经验状态让它回答一个不同的问题：我发生了什么，以及什么因此改变了。持久的智能体来自于两者之间的循环，而这个循环正是当前系统大部分假装拥有的部分。

预测提供能力；记录提供连续性。智能体是它们之间的循环，而正是这个循环——而非任何一个盒子——是当前系统难以维持运行的。

预测提供能力；记录提供连续性。智能体是它们之间的循环，而正是这个循环——而非任何一个盒子——是当前系统难以维持运行的。

很容易把这称为一堵硬墙：一个冻结的模型无法进行快速情景捕获，所以必须有东西在权重之外来做。但一个足够长的上下文窗口就是快速情景捕获。智能体根据本次会话中发生的情况进行条件化，并因此行为不同。那是一个海马体。问题在于它是一个糟糕的海马体。它不会持续到会话结束，所以下次运行从冷启动开始。它持有的信息越多，成本就越高，因为你保留的每个令牌在每一步都要再次付费。而且它无法判断一个句子重要而四十个不重要，所以它按位置而非重要性遗忘。差距不在于智能体无法形成快速记忆，而在于它的快速记忆既不会持久也不会选择。

这正是框架一直在做的事情。每个记忆存储、每个草稿板、每个被塞回窗口的检索到的记录，都是手工构建的、该器官持久且有选择版本的尝试。我们中的大多数人一直在无意识地构建海马体。最清晰的案例早于当前浪潮：DQN中的经验重播缓冲区，这是2015年使深度强化学习起作用的技巧之一，它将过去的经验保存在一个单独的缓冲区中，并以交错批次重播到慢速网络中，这样它就不会灾难性地遗忘。它是出于工程理由而被采用的——数据效率和打破样本之间的相关性——而其作者注意到它与海马体重播相似。工程学在十年前就重新发现了互补学习系统理论的形状。

所以框架从来就不是通往一个不再需要它的模型的脚手架。而是我们自己，通过手动方式，做窗口做得不好的那部分工作。我们只是在不断地重新发明它，而且很糟糕。

诀窍在于选择

我们糟糕地重新发明它，因为我们复制了错误的部分。我们假设工作就是存储，所以我们存储：整个聊天历史，或它的有损摘要，或所有通过相似性嵌入和检索的内容。但存储是该问题最无趣的版本。大脑更难的绝招是选择。

2024年，Buzsáki的实验室发表了一个智能体构建者应该仔细审视的结果。Yang及其同事在记录老鼠跑迷宫时的数百个海马神经元时发现，在称为尖波涟漪的短暂高频爆发期间，大脑在清醒状态下、在事件发生后几秒内重播刚刚获得的经验。这些清醒的涟漪似乎充当了一个标签。清醒时重播最多的经验在睡眠中也被重播，而正是这些经验被巩固了。这是一个相关性结果，但很有启发性。不是所有发生过的事情。是一个被选择的部分，偏向于那些有奖励和被弱持有的经验。大脑很早就从物理上决定什么值得保留，而让其余部分消失。

遗忘，在那幅画面中，是一个特性。一个长期运行的记忆如果以相同权重保留所有东西，那就根本不是记忆。它是一份没人能读的日志。选择是将原始经验转化为可以变成结构的东西的步骤。有些经验保留为情景，有些被遗忘，有些固化为事实、技能或反射，有些成为自我的一部分。

神经科学认为选择是必要的，而且可以很廉价。它没有说如何做到。大脑的标签是由进化硬连接的：奖励、惊喜、新奇，一切直接感受。一个智能体默认没有任何这些，所以整个架构所依赖的问题是什么扮演标签的角色。任务相关性、用户纠正、失败严重性、与慢速存储器已有知识的惊奇度、预期未来效用。每一个都是真实的信号，没有一个被解决，而简单的实现会把你试图消除的成本偷偷带回来：让LLM反思一天并选择要保留什么是一个选择函数，而且是一个昂贵且话多的函数。这是一个开放问题，其他设计都取决于它。把基质弄完美而标签弄错，你就构建了一个关于错误时刻的完美日记。

那项研究中还有另一个值得注意的细节。在低维度展开时，神经状态在一次迷宫之旅到下一次之间系统地漂移。相同的迷宫，相同的奖励，但大脑从未处于相同状态两次。它不仅编码了动物所在的位置，还编码了时间，这是第几次旅程。没有人能两次踏进同一条河流，结果发现也没有老鼠能两次跑同一个迷宫。（不可变日志，有人想到吗？）

无需对话的协调

大脑还指向一种不同类型的协调：多个专门化的过程共享状态，而没有一个中央执行器叙述每一步。Bernard Baars在1988年将其形式化为全局工作空间理论，这是一个有限的共享空间，并行专家从中读取并写入，由注意力决定什么被广播。这是人工智能早已尝试过的一个想法的认知版本。在1970年代，Hearsay-II语音系统运行在黑板上：独立的专家，没有一个在指挥，每个都在观看一个共享结构并在有东西要添加时写入。没有专家调用另一个专家。协调是共享状态和写入顺序的一个属性。

四个专家，一个共享工作空间。每个都读取和写入相同的持久状态，没有一个调用另一个，因此协调成为被写入什么以及写入顺序的属性。以前发生在对话中的冲突现在转移到写入如何被协调中，在那里它可见。

四个专家，一个共享工作空间。每个都读取和写入相同的持久状态，没有一个调用另一个，因此协调成为被写入什么以及写入顺序的属性。以前发生在对话中的冲突现在转移到写入如何被协调中，在那里它可见。

这与我们今天搭建多智能体系统的方式相反，在后者中智能体相互交谈，而交谈会不断累积，每条消息都是上下文泄露和成本增长的又一个地点。一个共享工作空间将大部分对话转移到别处。关键在于，旧的黑板系统通过瓶颈处的窄专家获得了效率，而一旦每个写入者都是通用推理器，你就可以有多个有能力的过程在同一状态上竞争，而协调写入本身就是一个难题。写入共享状态仍然是沟通，只是持久且可检查而不是短暂的，并且以前发生在对话中的冲突现在转移到写入如何被协调中，在那里你可见。即使这不是免费的，这也是一笔实实在在的收益。基质一直存在于旧的系统文献中。只是我们从未有过足够有能力的东西放在上面。

这告诉我们构建什么

把旧想法放在一起，你就得到了一个相当具体的长期运行智能体形状。其中两块来自大脑，两块来自软件。双速度分离和选择门控来自大脑。仅追加日志、重播和分支是事件溯源——git、Datomic和Kafka背后的模式——而日志在其恰好停止模仿大脑的地方是最好的：生物记忆会覆盖和虚构，并且无法重播或分支其过去。

你需要两个不同速度的存储：一个快速的，写入便宜，捕捉像情景发生时那样的事件，并保持它们可分离而不是平均成糊状；一个慢速的，容纳蒸馏结构并谨慎改变。你想要智能体的状态是基于仅追加记录的一个投影，而不是你原地突变的东西，这样历史存活下来，每次更改都可检查。你想要重播和有选择的巩固作为可以调用的实际操作——智能体版本的睡眠——决定近期经验中的哪些切片被提升到慢速存储，而其余部分衰减。你想要能够分支：生成一个副本，让它尝试对自己行为的更改，在相同历史上向前运行，然后保留结果或丢弃它，而无需将运行中的系统押注在实验上。大脑无法分支其过去，并为其每一个坏习惯付出代价——那些它无法安全测试出来的习惯。我们的智能体可以。而且你希望协调流过那个共享的、投影的状态——工作空间——而不是通过智能体彼此叙述。

日志是事实的源头；状态是它的一个投影。由于记录是不可变的且仅追加，历史可以重放到任何点，并且可以在一个随后合并或丢弃的分支中尝试更改。一个失败的自编辑就变成了一个未成功合并的分支。

日志是事实的源头；状态是它的一个投影。由于记录是不可变的且仅追加，历史可以重放到任何点，并且可以在一个随后合并或丢弃的分支中尝试更改。一个失败的自编辑就变成了一个未成功合并的分支。

这些都不是免费的。分支对于状态是干净的，但对于后果则不是：你可以丢弃一个分支，但你不能撤销它写的邮件或下的交易，所以可逆实验与不可逆行为之间的界线必须成为设计的一部分。技能也很尴尬。在大脑中，技能巩固到慢速权重中；在一个冻结的智能体中，一个学会的过程没有明显的家——除非通过与其他自编辑相同的门控、评估循环被提升——再次，那不是上下文窗口。而巩固会漂移，因为提升和修剪是有损的且不断积累，尽管将原始情景保留在日志中至少使漂移可检测。普通成本也是真实的：投影复杂性、模式演变、快照、压缩、重播。支付这些成本的理由是，替代方案将相同的成本隐藏在可变状态、有损摘要以及事后无人能重建的失败中。而长上下文加检索——一个明显的反对意见——有帮助但不能替代。窗口仍然是窗口，而基于原始历史的检索可以恢复事件，却失去了让它们有意义的东西：将事件转变为信念的决策、解决矛盾的协调、智能体拒绝的分支及其原因。这些是谱系问题，更多上下文并不能保存它们。

冻结边界看起来将继续软化。测试时训练、快速权重、持续学习、智能体自我改进：有真实的工作正在将使用期间发生的一些事情推回权重中，我怀疑其中一些会成功。但这不会消除记录。它提高了选择的赌注，因为现在必须有东西决定哪些经验成为训练信号、哪些失败要重播、哪些更改要合并、哪些保持局部。这大致是海马体的工作。当皮层最终学会某样东西时，它不会消失。正是它选择了皮层学到了什么。一旦学习成为现实，记录就变得更加重要。

在稍微更元层次的层面上，正如我在本月早些时候的演讲中提到的，你和我并非由我们的推理能力定义。我们更好的定义是我们的知识、信念和行为，它们是生活中事件的产物。

ActiveGraph是围绕BabyAGI和知识图谱持续实验的扩展，其灵感始终来自大脑。有趣的是发现大量大脑研究反映了这种架构：将智能体的历史做成仅追加的事件日志，将其工作状态视为该日志的投影，然后你从结构中得到重播、分支和完整谱系。该系统在此论文中（arXiv:2605.21997）。

还有很多其他人。人们正在到处构建智能体记忆：向量存储、时间知识图谱、操作系统风格的分页、总结和巩固的反思层。大部分都将记忆视为模型读取的存储……