@aakashgupta: Anthropic 刚刚将睡眠机制引入了 AI 代理。当你睡觉时,你的海马体会将白天的神经序列重放给大脑皮层…

X AI KOLs Following 新闻

摘要

Anthropic 引入了一种新的 AI 代理“睡眠”机制,其灵感来源于生物海马体重放和梦境,用于提取模式并重组记忆,旨在防止因依赖原始上下文窗口而导致的能力停滞。

Anthropic 刚刚将睡眠机制引入了代理。当你睡觉时,你的海马体会以 150-220 Hz 的爆发(称为尖波涟漪)将白天的神经序列重放给大脑皮层。重放的速度大约是原始体验的 20 倍。一个 10 秒的序列会被压缩到大约 500 毫秒。Wilson 和 McNaughton 在 1994 年通过老鼠实验证明了这一点。昨晚,无论你是否愿意,你的大脑都在对你昨天做的事运行这个算法。重放同时做两件事:提取统计模式——哪些是重要的、哪些可以泛化、哪些序列预测了奖赏;同时重组记忆痕迹,将其从海马体依赖的存储转移到新皮层,这就是为什么旧的记忆能经受海马体损伤而新的记忆不能。用光遗传学干扰老鼠的尖波涟漪,老鼠就会在第二天的任务中失败。重放是因果性的,而非相关性的。如今大多数“代理记忆”实际上是一个搜索引擎。过去的会话被嵌入,下一次调用时检索相关片段。这对事实有效。但它不提取模式,也不重组痕迹。这就是为什么代理会停滞不前:记忆容量不断增长,而实际能力却趋于平缓。梦境会回顾过去的会话,提取模式,整理记忆。这就是大脑实际的三步算法。他们称之为“梦境”,因为算法所做的正是梦境在做的,顺序大致相同,原因大致相同。在会话之间做梦的代理会不断进步。而那些仍然依赖原始上下文窗口的代理,将会遇到人类通宵熬夜时碰到的同样天花板。
查看原文

相似文章