尝试用AI智能体模仿人类大脑的工作方式。各位数学极客们,希望听听你们对这个架构的看法。
摘要
作者提出了一种受人类大脑过程启发的AI智能体架构,使用信念更新和决策循环,并向AI社区征求关于其实用性和改进的反馈。
我正在尝试一种智能体架构,它不那么依赖“给模型一个大提示并信任其推理”,而更像是一个受控的信念-决策循环。并非声称它直接模仿人类大脑,而是借鉴了一个有用的模式:保持竞争性解释,根据证据更新信念,决定下一步检查什么,然后基于后果行动。
一个非常简单的例子:一个智能冰箱智能体收到“奇怪气味”的信号。可能的世界:有人洒了芒果汁、一个鸡蛋在腐烂、冰箱电源故障导致食物变暖、或其他我们未建模的原因。它从基于上下文的先验开始:最近的开门事件、温度历史、内部食物、过去的故障等。然后它获得证据。假设温度传感器读数为14°C。系统不是让LLM叙述“这似乎令人担忧”,而是问:在每个世界下,14°C的可能性有多大?使用这些似然性更新先验→后验。不确定性实际减少了多少?熵的变化。下一个允许的问题中,哪个具有最高的预期信息增益?例如,“压缩机是否在耗电?”可能比“冰箱磁贴是什么颜色?”更有用。这个问题是否值得其成本、延迟、隐私影响和可靠性?鉴于后验加上行动成本,它应该通知用户、等待、运行另一个检查,还是升级给人类?
LLM可以帮助提取信号、提出候选假设并调用工具,但它不应成为信念更新或行动的最终权威。控制器拥有世界列表、先验、似然性估计、策略阈值、日志和升级规则。我希望保持明确的重要部分:一个“其他/未知世界”的桶,这样系统不会表现得像假设列表是完整的;校准的概率以及先验/似然性的来源;信息的预期价值,而不仅仅是熵减少;当不确定性仍然高、情况分布外或下行不对称时的人类升级路径;一个跟踪显示故障是否来自缺失的世界、过时的先验、不良的似然性、不良的问题策略或不良的行动成本。
粗略的循环是:输入 → 可能的世界 → 先验 → 证据似然性 → 后验 → 不确定性/预期信息增益 → 成本感知行动 → 必要时的人类升级 → 结果 + 校准更新。
数学/AI从业者们:这是一个合理的实用架构,还是我正在拙劣地重新发明POMDPs、主动推理、贝叶斯决策网络、信念状态规划等?为了使其真实可评估,您首先会改变什么?特别感兴趣的是:处理开放世界假设、学习/校准似然性而不假装数字是客观的、将“最有信息的问题”与“最能改善实际决策的问题”分开。
相似文章
我如何为AI代理创建了一个真正的第二大脑
作者讲述了构建一个被称为‘真正第二大脑’的个人知识管理系统,旨在增强AI代理的能力。
@qinzytech: https://x.com/qinzytech/status/2066585405479371092
对构建自我进化AI代理的两种方法的技术分析:基于模型的方法(通过像SSMs或具有快速权重更新的transformer等架构,以及训练方法)和基于工具的方法(通过内存或能够自我重写的元工具)。作者为不同受众提供了实用建议。
智能体是否需要与知识库分离的“大脑”?
作者提出一个思维模型:AI智能体应维护一个独立的记忆层(大脑),用于存储可复用的理解,与知识库(图书馆)区分开来,以避免反复重新发现相同的信息。
我构建了两个哲学完全相反的多智能体AI系统。这是我目前学到的。
作者构建了两个设计哲学完全相反的多智能体AI系统:ChaoticAI(协作式,基于组织结构图)和配备RAAC的S.A.G.E.(对抗式论证)。本文分享了关于记忆架构的思考,以及两种方法可能融合的方向。
AI Agent 入门
关于构建可靠AI Agent的全面指南,解释感知、决策逻辑和行动接口的核心组件,并包含前Meta工程师的见解。