@yoheinakajima:你的海马体快速捕捉事件(日志),进行计算以维持当前状态,并通过选择性重放……
摘要
这条推文解释了海马体如何快速捕捉事件以维持当前状态,并通过选择性重放逐步更新皮层模型,将新的先验信息反馈回计算中。
你的海马体快速捕捉事件(日志),进行计算以维持当前状态,并通过选择性重放,将这些事件缓慢地吸收到皮层(模型)中,然后皮层会将新的先验信息反馈回计算中。
相似文章
@yoheinakajima: https://x.com/yoheinakajima/status/2081741659260477666
该线程探讨了大脑的双重记忆系统(海马体和新皮层)为构建长期运行的AI智能体提供的启示,指出智能体需要快速的情景捕获机制和缓慢的巩固机制来避免灾难性干扰,而不是仅仅依赖带有临时支撑结构的冻结模型。
@aakashgupta: Anthropic 刚刚将睡眠机制引入了 AI 代理。当你睡觉时,你的海马体会将白天的神经序列重放给大脑皮层…
Anthropic 引入了一种新的 AI 代理“睡眠”机制,其灵感来源于生物海马体重放和梦境,用于提取模式并重组记忆,旨在防止因依赖原始上下文窗口而导致的能力停滞。
@omarsar0:新论文值得一读。(收藏)基本思路是将压缩循环状态与一个小型精确记忆配…
HOLA(海马体线性注意力)受海马记忆启发,通过一个有界的精确KV缓存增强线性注意力,在不牺牲效率的情况下改善长程召回和困惑度。在340M参数规模下,它在Wikitext上优于全注意力Transformer,并在高达32k token的范围内实现稳健的针召回。
@yoheinakajima:看看 http://activegraph.ai,把所有内容扁平化成一个单一的事件日志 :)
ActiveGraph 使用追加式事件日志为长时间运行的代理提供了一个持久、可回放的世界,支持分支、差异和谱系功能。
几何相变实现海马体极端记忆容量
本文揭示,食物储存鸟类的卓越空间记忆源于海马群体活动中的几何相变,从无序的‘迷雾’转变为晶体般的集体编码,从而实现超过100倍的内存容量提升。