AI 技术栈开始疑似与云技术栈相似

Reddit r/AI_Agents 新闻

摘要

文章讨论了AI实施如何镜像云基础设施,以货运经纪公司为例,揭示隐藏的成本和复杂性。它主张优化AI系统,而非移除它们,以减少人工监督。

云领域的人们感到似曾相识,我从他们的表情中看出来了。我们花了15年时间将基础设施从开发者手中抽离,这样就没有人需要考虑服务器的问题,而现在行业却在相同的技术栈上叠加AI,包装盒上承诺着同样的‘你不再需要考虑这个’。我运营一个AI服务机构,大部分工作成本涉及多人,而我构建了一个AI系统来避免雇佣一个AI团队。我还发现,每一层移除思考的环节最终都会支付某人薪水。一家货运经纪公司今年请我来。他们添加了一个AI层来读取托运人电子邮件并起草报价,但操作台仍使用过时的费率。这些草案并非自动发布。周末提货和新路线有误,因此高级调度员在发送前会进行检查。老板说他们以前见过这种情况,并迁移到了云上,现在他们正在管理云。真正让我反感的是所有权问题。云保持了界限清晰,你的代码在他们的机器上,当出现问题时,你知道是谁的责任。对于AI模型,错误的报价可能是模型的过错、数据问题或审批问题,没有人能衡量成本。所以我们还是衡量了。我带着笔记本跟了调度员一周,大约每周花20小时在草案上。每小时31美元,一年大约31,000美元。她是AI看护者,但她从未申请过这个职位。旧流程的复杂性并未消失。流程变得更加复杂并增加了层级:服务器移到了云账单上,雇佣了开发运维人员,手动报价,以及一个AI检查工作。解决方法不是移除AI。我们保留了AI,但它现在根据费率表和合同条款检查每个草案,只发送干净的,并将不匹配的排队给托运人。她的时间从每周20小时减少到大约4小时。
查看原文

相似文章

AI云基础设施市场是否已失控?

Reddit r/AI_Agents

本文探讨了AI云基础设施领域高达7250亿美元的资本支出大战,质疑市场是否正变得难以管理,并指出归纳分析将成为下一个主要战场。

感觉AI正在进入其“基础设施问题”阶段

Reddit r/artificial

文章强调了AI行业的一个转变,焦点正从单纯的模型基准性能转向延迟、编排和成本效率等基础设施挑战。这表明AI正成熟为一个系统问题,实际体验变得比原始模型能力更重要。

AI推理遵循着截然不同的规则(9分钟阅读)

TLDR AI

文章指出AI推理对云数据基础设施提出了独特挑战,其需求更接近高并发OLTP系统,而非传统面向人类速度的应用。文章强调需要优化存储和数据访问层,以应对自主智能体驱动的"AI数据海啸"。

AI agents 正在改变人们对计算成本的看法

Reddit r/AI_Agents

本文讨论了AI代理工作流如何将优化重心从单纯的推理成本转向更广泛的挑战,如延迟、编排开销和可靠性。文章强调了向混合架构和动态模型路由发展的趋势,以应对这些多步骤工作流的复杂性。