我认为大多数公司构建AI的方式是本末倒置的
摘要
文章认为,公司过度投资于AI智能(模型能力),而忽视了权威性、问责性和现实表示等关键运行时层,导致AI在机构内行动时可能出现失败。
每个人都在谈论更智能的AI。更大的模型。更长的上下文窗口。更自主的代理。更好的推理。更好的编码。更好的记忆。但我认为我们忽略了真正的问题。一个AI系统可以听起来很智能……但仍然在一个完全损坏的现实中运行。
想象一个AI代理:
* 批准退款
* 升级事件
* 更新记录
* 联系客户
* 改变价格
* 触发工作流
现在问一个简单的问题:AI如何知道它看到的现实实际上是正确的?不是“技术上可访问”。而是实际正确。因为企业现实是混乱的:
* 过时的系统
* 冲突的数据库
* 过期的批准
* 缺失的上下文
* 静默异常
* 矛盾的记录
* 不明确的所有权
* 变化的政策
然后还有一个更大的问题:即使AI *知道*某些事……它实际上被允许行动吗?在谁的权限下?有什么限制?谁负责任?行动可以撤销吗?如果AI错了会怎样?
这就是为什么我开始认为未来的AI堆栈不仅仅是:数据 → 模型 → 代理 → 动作。中间缺少运行时层。我一直在探索的心智模型是:
* **SENSE** → 现实表示
* **CORE** → 推理
* **DRIVER** → 受治理的行动
而且老实说,感觉这个行业在CORE上过度投资。我们痴迷于智能。但真正的瓶颈可能变成:
* 表示质量
* 合法性
* 权威边界
* 可逆性
* 问责性
* 运行时治理
换句话说:最大的AI失败可能不是来自“糟糕的智能”。它们可能来自机器在不完整的现实和模糊的权威下行动。而且我认为一旦AI从“帮助人类”转变为“在机构内部行动”,这就会成为一个大问题。
好奇这里其他人看到了什么。公司实际上在内部解决这些层吗?还是大多数组织现在仍然主要关注模型能力和代理演示?
相似文章
大多数 AI Agent 的失败是组织设计失败,而非模型失败
文章认为,生产环境中 AI Agent 的失败往往归因于糟糕的组织设计和模糊的责任边界,而非模型本身的局限性。文章提出了一种成熟度模型,区分了 AI 助手、自动化流程和 AI 员工,以指导任务所有权的确立。
我们正处于AI采纳的煤气灯效应阶段
文章认为,公司夸大AI的成熟度,将风险转嫁给员工,并通过煤气灯效应让员工忽视幻觉、脆弱工作流程等真实问题。
企业是否将AI用错了地方?
这项分析质疑了将AI机械地插入所有企业工作流程的做法,指出确定性系统往往需要传统软件而非概率性模型。它主张采取一种战略方法,区分AI能够创造杠杆效应的领域与成熟架构仍占据优势的领域。
我最近一直在为企业开发 AI Agent,我认为大多数人高估了自主性,却低估了可靠性。
作者认为,在企业级 AI Agent 开发中,运行的可靠性和稳定性比高度自主性更为关键,倡导受控智能而非完全自主的系统。
我认为“人在回路中”可能成为企业AI最大的治理幻觉之一
本文认为,依赖'人在回路中'作为治理策略是有缺陷的,因为AI系统现在决定何时升级,形成了一种自我报告的依赖。文章建议转向'人类主导的自主性',即由人类定义边界并审计表征质量。