我认为大多数公司构建AI的方式是本末倒置的

Reddit r/artificial 新闻

摘要

文章认为,公司过度投资于AI智能(模型能力),而忽视了权威性、问责性和现实表示等关键运行时层,导致AI在机构内行动时可能出现失败。

每个人都在谈论更智能的AI。更大的模型。更长的上下文窗口。更自主的代理。更好的推理。更好的编码。更好的记忆。但我认为我们忽略了真正的问题。一个AI系统可以听起来很智能……但仍然在一个完全损坏的现实中运行。 想象一个AI代理: * 批准退款 * 升级事件 * 更新记录 * 联系客户 * 改变价格 * 触发工作流 现在问一个简单的问题:AI如何知道它看到的现实实际上是正确的?不是“技术上可访问”。而是实际正确。因为企业现实是混乱的: * 过时的系统 * 冲突的数据库 * 过期的批准 * 缺失的上下文 * 静默异常 * 矛盾的记录 * 不明确的所有权 * 变化的政策 然后还有一个更大的问题:即使AI *知道*某些事……它实际上被允许行动吗?在谁的权限下?有什么限制?谁负责任?行动可以撤销吗?如果AI错了会怎样? 这就是为什么我开始认为未来的AI堆栈不仅仅是:数据 → 模型 → 代理 → 动作。中间缺少运行时层。我一直在探索的心智模型是: * **SENSE** → 现实表示 * **CORE** → 推理 * **DRIVER** → 受治理的行动 而且老实说,感觉这个行业在CORE上过度投资。我们痴迷于智能。但真正的瓶颈可能变成: * 表示质量 * 合法性 * 权威边界 * 可逆性 * 问责性 * 运行时治理 换句话说:最大的AI失败可能不是来自“糟糕的智能”。它们可能来自机器在不完整的现实和模糊的权威下行动。而且我认为一旦AI从“帮助人类”转变为“在机构内部行动”,这就会成为一个大问题。 好奇这里其他人看到了什么。公司实际上在内部解决这些层吗?还是大多数组织现在仍然主要关注模型能力和代理演示?
查看原文

相似文章

大多数 AI Agent 的失败是组织设计失败,而非模型失败

Reddit r/AI_Agents

文章认为,生产环境中 AI Agent 的失败往往归因于糟糕的组织设计和模糊的责任边界,而非模型本身的局限性。文章提出了一种成熟度模型,区分了 AI 助手、自动化流程和 AI 员工,以指导任务所有权的确立。

我们正处于AI采纳的煤气灯效应阶段

Reddit r/ArtificialInteligence

文章认为,公司夸大AI的成熟度,将风险转嫁给员工,并通过煤气灯效应让员工忽视幻觉、脆弱工作流程等真实问题。

企业是否将AI用错了地方?

Reddit r/artificial

这项分析质疑了将AI机械地插入所有企业工作流程的做法,指出确定性系统往往需要传统软件而非概率性模型。它主张采取一种战略方法,区分AI能够创造杠杆效应的领域与成熟架构仍占据优势的领域。