来自神经科学的分裂(皮层 vs 海马体)是我在解释AI代理为何在真实公司工作中失败时找到的最佳解释

Reddit r/artificial 新闻

摘要

本文利用神经科学论证AI代理在企业中失败是因为它们缺乏像海马体那样快速、公司特定的记忆系统,并提出以治理为重点的解决方案来整合现实世界的流程。

有一个来自神经科学的分裂我一直在思考,认为这是AI代理在公司内部失败的真正原因。将其视为类比,而非字面主张,但它一直成立。你的大脑运行两个记忆系统(互补学习系统理论,McClelland et al. 1995)。新皮层学习缓慢,掌握一般的、世界性的知识。海马体学习快速:它捕获特定事件,然后将重复发生的事件巩固为持久、可重复使用的流程。一个预训练的LLM基本上就是新皮层。它阅读了互联网,掌握了世界的通用知识。但它没有的是海马体:那种快速的、公司特定的记忆,它能观察到你的团队去年春天实际如何处理退款,并将其转化为可重复的流程。所以,你把这个聪明的皮层放到你的公司,它即兴发挥,而即兴的自动化在生产中失败了。真正的流程从来不在帮助文档里。它存在于你团队的对话中、几个人的脑子里,以及一个现在每个人都悄悄复制的例外情况。这也解释了为什么常规工具无法修复它。检索和搜索只是海马体的一半:它们回忆文档,但不将分散的事件整合成真正的流程,而且文档往往自信地错误。代理平台让你在他们的技术栈上运行他们的代理。我一直在思考的解决方案版本:以只读方式连接团队已经在使用的工具,挖掘工作实际如何发生(包括没人写下的例外情况),并将重复事件整合为有引用、经人类批准、版本化的“技能”,现有代理可以通过MCP运行,对任何敏感内容进行人类签字。治理(引用、审批、审计跟踪)必须成为重点,因为“你的AI发起了退款,谁授权的?”是让人突然停下的问题。我希望能得到反驳:* 对你来说,“代理不了解我们的实际流程”是真正的障碍吗,还是其他原因(信任、安全、工作不够重复)?* 你会为了实现这一点而连接团队对话和文档的只读访问吗,还是坚决不?* 如果你已经部署了代理在真实工作流上,是什么让它们足够可信而被启用?真心希望你们中的一些人告诉我哪里出了问题。
查看原文

相似文章

@yoheinakajima: https://x.com/yoheinakajima/status/2081741659260477666

X AI KOLs Following

该线程探讨了大脑的双重记忆系统(海马体和新皮层)为构建长期运行的AI智能体提供的启示,指出智能体需要快速的情景捕获机制和缓慢的巩固机制来避免灾难性干扰,而不是仅仅依赖带有临时支撑结构的冻结模型。