我认为大多数公司构建AI的方式是本末倒置的
摘要
文章认为,公司过度投资于AI智能(模型能力),而忽视了权威性、问责性和现实表示等关键运行时层,导致AI在机构内行动时可能出现失败。
每个人都在谈论更智能的AI。更大的模型。更长的上下文窗口。更自主的代理。更好的推理。更好的编码。更好的记忆。但我认为我们忽略了真正的问题。一个AI系统可以听起来很智能……但仍然在一个完全损坏的现实中运行。
想象一个AI代理:
* 批准退款
* 升级事件
* 更新记录
* 联系客户
* 改变价格
* 触发工作流
现在问一个简单的问题:AI如何知道它看到的现实实际上是正确的?不是“技术上可访问”。而是实际正确。因为企业现实是混乱的:
* 过时的系统
* 冲突的数据库
* 过期的批准
* 缺失的上下文
* 静默异常
* 矛盾的记录
* 不明确的所有权
* 变化的政策
然后还有一个更大的问题:即使AI *知道*某些事……它实际上被允许行动吗?在谁的权限下?有什么限制?谁负责任?行动可以撤销吗?如果AI错了会怎样?
这就是为什么我开始认为未来的AI堆栈不仅仅是:数据 → 模型 → 代理 → 动作。中间缺少运行时层。我一直在探索的心智模型是:
* **SENSE** → 现实表示
* **CORE** → 推理
* **DRIVER** → 受治理的行动
而且老实说,感觉这个行业在CORE上过度投资。我们痴迷于智能。但真正的瓶颈可能变成:
* 表示质量
* 合法性
* 权威边界
* 可逆性
* 问责性
* 运行时治理
换句话说:最大的AI失败可能不是来自“糟糕的智能”。它们可能来自机器在不完整的现实和模糊的权威下行动。而且我认为一旦AI从“帮助人类”转变为“在机构内部行动”,这就会成为一个大问题。
好奇这里其他人看到了什么。公司实际上在内部解决这些层吗?还是大多数组织现在仍然主要关注模型能力和代理演示?
相似文章
大多数公司的人工智能问题不在于模型
一项分析指出,公司在人工智能方面失败的原因在于它们专注于模型,而非基础层——流程设计、治理、知识架构、人工判断和反馈循环——而这些才是真正的价值来源。文章引用了纳德拉的“令牌资本”概念、苹果可切换模型的Siri,以及显示战略与执行之间存在巨大差距的调查数据。
目前正在构建的大多数AI代理都完全搞错了问题
一种观点认为,当前对AI代理自主性的关注是错误的;真正的瓶颈在于信任和缺乏人类可见性。下一个飞跃将来自更好的人机协作设计,而不是更智能的模型。
大多数 AI Agent 的失败是组织设计失败,而非模型失败
文章认为,生产环境中 AI Agent 的失败往往归因于糟糕的组织设计和模糊的责任边界,而非模型本身的局限性。文章提出了一种成熟度模型,区分了 AI 助手、自动化流程和 AI 员工,以指导任务所有权的确立。
我在AI项目中经常看到但没人公开讨论的事情
本文指出,许多AI代理项目在生产环境中失败,并非因为模型质量,而是因为团队在发布前没有明确定义何为失败,忽略了关键边缘案例,导致自信地输出错误结果。
企业AI的下一个失败模式不是提示词。而是所有权、工具访问和过度信任代理。
文章认为,企业AI的下一个失败模式将源于代理工作流的所有权不明确和过度信任,而非模型故障,并引用了被投毒的MCP工具和缺乏监控的例子。