AI代理给了公司一个大脑皮层,但没人建造海马体。我说这才是真正的障碍,错了吗?

Reddit r/AI_Agents 新闻

摘要

作者认为,AI代理缺乏一种将分散的操作知识整合为可信的程序性记忆的机制,这是可靠部署的关键障碍,并询问社区这是否是真正的瓶颈。

有件事一直困扰着我,我想和每天与AI打交道的人确认一下。人脑不仅仅是知道一些事情。它有一个部分(大致是海马体),其全部工作就是整合:将零散的日常经验转化为程序性记忆,即“我们实际怎么做”的知识。你不需要每天早上重新推导如何应对愤怒的客户。整合已经将一百次经验转化为一项技能。我们现在拥有真正有能力进行推理的AI(作为大脑皮层的代理)。原始经验无处不在:Slack线程、文档、工单、某个终于有人解释了退款实际如何获批的线程。感官输入,大量的输入。我们还有检索/搜索工具可以找到任何这些信息,但那只是原始记忆的回忆,而不是整合。缺少的是将“废料”转化为可整合、可信的程序性记忆的器官。所以我看到的每个代理部署都做两件事之一:要么即兴发挥(“幻觉过程”比幻觉事实更糟糕,因为它会执行),要么有人为代理手动编写过程文档,这又回到了wiki的老问题,而且六周后就过时了。最重要的知识恰恰是那些从未出现在wiki上的东西:变通方法、例外情况、“哦,我们从不为企业客户做X”这种部落规则。它们存在于对话废料和人们的头脑中。人类会自动整合它们。公司不会,而没有这些,代理无法可靠地运作。我认真考虑过构建这个缺失的部分。某种从废料中挖掘“我们实际如何工作”并将其整合为经过验证、人工批准的程序性记忆,任何代理都可以使用。但在投入一年时间之前:那些在工作中部署代理的人,这真的是你们的障碍吗,还是其他原因(集成、权限、信任、成本)?如果解决了,是如何解决的?手工策划的文档?Karpathy风格的markdown wiki?类似Glean的工具?你们会信任挖掘出来的过程知识吗,还是只有经过人工签字才算数?真诚地询问。如果瓶颈在其他地方,我愿意接受指正。
查看原文

相似文章

智能体的记忆尚未成熟

Reddit r/AI_Agents

对当前AI智能体记忆解决方案的批评,认为RAG包装器及类似方法未能解决模型偏见和上下文膨胀的核心问题。

每个AI记忆平台完全忽略的是什么?

Reddit r/AI_Agents

作者批评现有的AI记忆平台缺乏多代理记忆、多次交互后长期记忆能力差、没有遗忘机制,并正在构建新的解决方案;向社区询问其他痛点。

AI代理没有智能问题,它们有状态管理问题

Reddit r/AI_Agents

文章认为,AI代理在生产中的大多数故障是由于不稳定的运行状态和内存退化造成的,而非模型能力不足,并强调需要更好的基础设施来支持状态管理、可观测性和自适应可靠性。