AI代理给了公司一个大脑皮层,但没人建造海马体。我说这才是真正的障碍,错了吗?

Reddit r/AI_Agents 新闻

摘要

作者认为,AI代理缺乏一种将分散的操作知识整合为可信的程序性记忆的机制,这是可靠部署的关键障碍,并询问社区这是否是真正的瓶颈。

有件事一直困扰着我,我想和每天与AI打交道的人确认一下。人脑不仅仅是知道一些事情。它有一个部分(大致是海马体),其全部工作就是整合:将零散的日常经验转化为程序性记忆,即“我们实际怎么做”的知识。你不需要每天早上重新推导如何应对愤怒的客户。整合已经将一百次经验转化为一项技能。我们现在拥有真正有能力进行推理的AI(作为大脑皮层的代理)。原始经验无处不在:Slack线程、文档、工单、某个终于有人解释了退款实际如何获批的线程。感官输入,大量的输入。我们还有检索/搜索工具可以找到任何这些信息,但那只是原始记忆的回忆,而不是整合。缺少的是将“废料”转化为可整合、可信的程序性记忆的器官。所以我看到的每个代理部署都做两件事之一:要么即兴发挥(“幻觉过程”比幻觉事实更糟糕,因为它会执行),要么有人为代理手动编写过程文档,这又回到了wiki的老问题,而且六周后就过时了。最重要的知识恰恰是那些从未出现在wiki上的东西:变通方法、例外情况、“哦,我们从不为企业客户做X”这种部落规则。它们存在于对话废料和人们的头脑中。人类会自动整合它们。公司不会,而没有这些,代理无法可靠地运作。我认真考虑过构建这个缺失的部分。某种从废料中挖掘“我们实际如何工作”并将其整合为经过验证、人工批准的程序性记忆,任何代理都可以使用。但在投入一年时间之前:那些在工作中部署代理的人,这真的是你们的障碍吗,还是其他原因(集成、权限、信任、成本)?如果解决了,是如何解决的?手工策划的文档?Karpathy风格的markdown wiki?类似Glean的工具?你们会信任挖掘出来的过程知识吗,还是只有经过人工签字才算数?真诚地询问。如果瓶颈在其他地方,我愿意接受指正。
查看原文

相似文章

@yoheinakajima: https://x.com/yoheinakajima/status/2081741659260477666

X AI KOLs Following

该线程探讨了大脑的双重记忆系统(海马体和新皮层)为构建长期运行的AI智能体提供的启示,指出智能体需要快速的情景捕获机制和缓慢的巩固机制来避免灾难性干扰,而不是仅仅依赖带有临时支撑结构的冻结模型。