AI代理给了公司一个大脑皮层,但没人建造海马体。我说这才是真正的障碍,错了吗?
摘要
作者认为,AI代理缺乏一种将分散的操作知识整合为可信的程序性记忆的机制,这是可靠部署的关键障碍,并询问社区这是否是真正的瓶颈。
有件事一直困扰着我,我想和每天与AI打交道的人确认一下。人脑不仅仅是知道一些事情。它有一个部分(大致是海马体),其全部工作就是整合:将零散的日常经验转化为程序性记忆,即“我们实际怎么做”的知识。你不需要每天早上重新推导如何应对愤怒的客户。整合已经将一百次经验转化为一项技能。我们现在拥有真正有能力进行推理的AI(作为大脑皮层的代理)。原始经验无处不在:Slack线程、文档、工单、某个终于有人解释了退款实际如何获批的线程。感官输入,大量的输入。我们还有检索/搜索工具可以找到任何这些信息,但那只是原始记忆的回忆,而不是整合。缺少的是将“废料”转化为可整合、可信的程序性记忆的器官。所以我看到的每个代理部署都做两件事之一:要么即兴发挥(“幻觉过程”比幻觉事实更糟糕,因为它会执行),要么有人为代理手动编写过程文档,这又回到了wiki的老问题,而且六周后就过时了。最重要的知识恰恰是那些从未出现在wiki上的东西:变通方法、例外情况、“哦,我们从不为企业客户做X”这种部落规则。它们存在于对话废料和人们的头脑中。人类会自动整合它们。公司不会,而没有这些,代理无法可靠地运作。我认真考虑过构建这个缺失的部分。某种从废料中挖掘“我们实际如何工作”并将其整合为经过验证、人工批准的程序性记忆,任何代理都可以使用。但在投入一年时间之前:那些在工作中部署代理的人,这真的是你们的障碍吗,还是其他原因(集成、权限、信任、成本)?如果解决了,是如何解决的?手工策划的文档?Karpathy风格的markdown wiki?类似Glean的工具?你们会信任挖掘出来的过程知识吗,还是只有经过人工签字才算数?真诚地询问。如果瓶颈在其他地方,我愿意接受指正。
相似文章
来自神经科学的分裂(皮层 vs 海马体)是我在解释AI代理为何在真实公司工作中失败时找到的最佳解释
本文利用神经科学论证AI代理在企业中失败是因为它们缺乏像海马体那样快速、公司特定的记忆系统,并提出以治理为重点的解决方案来整合现实世界的流程。
@yoheinakajima: https://x.com/yoheinakajima/status/2081741659260477666
该线程探讨了大脑的双重记忆系统(海马体和新皮层)为构建长期运行的AI智能体提供的启示,指出智能体需要快速的情景捕获机制和缓慢的巩固机制来避免灾难性干扰,而不是仅仅依赖带有临时支撑结构的冻结模型。
智能体真的需要记忆吗?还是我们用它来弥补架构不佳?
本文探讨了AI智能体中的记忆是必不可少的,还是对不良架构的变通方案,并询问从业者在生产系统中需要持久化哪些内容。
AI代理是否需要“公司大脑”才能在企中真正运作?
一篇观点文章,认为企业中的AI代理需要一个结构化的“公司大脑”记忆层,以可靠地访问上下文、政策和权限,而不是仅仅依赖RAG和工具访问。
我们是否都在悄悄重建记忆系统,因为当前AI的长期记忆实际上并不奏效?
文章讨论了当前AI记忆方案在生产中常见的失败情况,如事实陈旧、摘要漂移和供应商锁定,指出真正的瓶颈在于记忆治理而非检索。