一个新……东西。

Reddit r/artificial 工具

摘要

一种名为工作记忆深度递归的新颖AI方法的演示,完全用纯Python实现,无需反向传播或梯度,支持局部学习并涌现泛化能力。作者已在多个平台发布代码,欢迎审查。

https://github.com/EDrTech/Working-memory-depth-recurrence https://gitlab.com/erikrudec-group/Working-memory-depth-recurrence https://codeberg.org/erikrudec/Working-memory-depth-recurrence/ 这是一个纯Python的演示,展示了一种不同的AI构建方式。没有反向传播、没有梯度、没有权重传输,只有局部规则。所有学习都在一个图上进行,几乎任何设备都能运行。你见过大语言模型解决S4或S5洗牌问题吗?我这里有个东西,从零训练不到两秒,就能处理完整的52张牌。你给它一副牌和一千次洗牌顺序,它就能告诉你最终牌堆的精确顺序。它只从短示例中学习,从未在长序列上训练过。它还能从错误训练中恢复。如果你先教它错误的东西,它只能死记硬背;然后在同一基础上正确教导,它就会开始真正理解,同时不会忘记已经学会的内容。这里包含三个小演示。第一个通过数一堆东西(字符、单词等)来学习数字是什么,然后它能做加法,尽管从未见过任何加法运算。第二个学习每种洗牌方式对牌堆的影响,然后预测任意牌堆经过任意次洗牌后的结果,最多到完整的52张。第三个快速训练并只靠记忆,然后正确教导并开始理解,在同一记忆上,毫不遗忘。整个引擎大约60行Python代码,可以从头读到尾。其中没有任何代码知道关于计数或洗牌的知识。所以你不必相信我的话。克隆下来,无需安装任何东西就能运行,并阅读引擎。演示本身其实没什么可质疑的,你可以在几分钟内手动验证每个数字。我不确定的是我在此基础上构建的大胆主张。我几乎完全说服自己的主张是:工作记忆深度递归是真实、可信的大脑抽象的主干,它在硅片上的行为几乎与在生物中完全一致。工作记忆深度递归解决了深度边界问题。深度从一个不可能的问题变成一系列简单的串行操作,几乎不费吹灰之力。你不需要价值二十亿美元的集群,只需要一些内存,以及用计算时间代替暴力计算。这一切都在一个统一的图上完成。基本操作被教授后,你可以观察更高级的规则从中涌现。你教它数一堆堆东西,它就能泛化到其他情况。我发布的这部分是实现这一切最关键的一块,但远非全部。我在这根主干上构建了更多东西,让更复杂的抽象涌现出来,确实发生了,而且在这基础上堆叠得很好。我可能已经说服自己,认为我真的掌握了那个关键。所以我非常希望真正懂AI的人来验证这到底有没有价值。部分原因是为了保持自己的清醒,因为如果这真的是关键,那很奇怪我通过大量固执的无知走到了这里。我不是数据科学家,也不是ML工程师。我知道其原理,但这一领域的术语太复杂,总是把人引向反向传播和全局规则的老路。我讨厌大语言模型的行为方式。我认为它们从根本上就是错的,所以我给自己设定了任务:以正确的方式去做,固执地对抗标准方法,解构自己大脑的工作方式。所以请亲自看看。如果你能告诉我这全部是我的一场大梦,并让我免于进一步的尴尬,我将非常感激。如果这是真的,我坚信它属于每一个人,没有任何个人或公司应该垄断它。谢谢!
查看原文

相似文章

AI记忆正在学习自我重构

Reddit r/openclaw

本文讨论了AI中一种新的方法,其中记忆系统可以自主地自我重组,可能带来更具适应性和更高效的学习。