@JayaGup10: https://x.com/JayaGup10/status/2111223952609870085
摘要
Jaya Gupta 与 Ashu Garg 认为,AI 经济正在从模型训练和推理转向 Agent 执行——其中以 CPU 为主的任务,如定时检查、存储和事务恢复,占据了成本的主导地位——而最终掌控谁能赚到钱的,将是应用构建者,而非模型或 GPU 提供商。
查看缓存全文
缓存时间: 2026/10/17 04:50
从推理到执行:AI 的下一个经济时代
作者:Jaya Gupta 和 Ashu Garg (@ashugarg)
过去几年,AI 的叙事一直由供给智能的公司及其基础设施书写。核心问题围绕 NVIDIA、前沿实验室、推理服务提供商和新云厂商展开:模型能做多大、谁能抢到足够的 GPU 来训练和部署、谁来为下一个集群融资。那个时代正在终结。
下一个阶段将围绕一个不同的问题展开:谁能把智能转化为有用的工作,并最终掌控完成这项工作的经济利益?
CoreWeave 将利害关系具象化了:其第二季度营收翻倍至 25.75 亿美元,6 月积压订单达到约 1040 亿美元。然而净利息支出消耗了 6.4 亿美元,约占营收的四分之一。2026 年 10 月 14 日,其股价下跌约 16%,2031 年到期债券收益率升至近 15%。CoreWeave 的营收在增长,但投资者却要求远超以往的回报来为其扩张融资。仅有需求并不能回答投资者现在提出的问题:谁攫取了这些产能所执行工作创造的价值?
客户下一步购买什么与他们花费多少同样重要。智能体在推理之外产生越来越多的工作负载,而应用程序对这些工作负载的执行方式获得了更大的掌控权。它们所使用的智能和执行工作的基础设施正在成为可以分别采购的组件。
我的判断是,权力正在向那些做出以下决策的公司转移:哪些步骤需要前沿推理、哪些可以用更小的模型或普通软件完成、工作在哪里运行、哪些供应商获得报酬。一个应用程序可以总体上购买更多算力,同时不断调整其输入组合。它的供应商曾基于对这些采购的预期为模型、机器和产能融资。
智能体的工作正在从推理转向执行
让助手盯两周机票价格并在降价时改签。这一个请求会产生两种工作负载。推理负责理解请求并对陌生选项做出判断。前沿推理通常运行在 GPU 和其他为神经网络并行计算设计的加速器上。执行则负责查询票价、存储结果并完成预订,运行在基于 CPU 的服务上:程序、数据库和网络调用。
大部分工作是执行。一个定时任务每小时检查一次价格,丢弃无变化的结果,仅在某个选项需要判断时才调用模型。在两次检查之间,该工作进程会关闭,而调度计划和历史记录持续保存。预订仍需授权、发送到航空公司、提交并被记录。如果确认信息丢失,系统必须先确定预订是否已经发生,然后再决定是否重试。这些步骤无需再次调用模型即可运行,但执行、存储和恢复仍需成本。
在一个专注于训练和部署模型的行业中,这一转变很容易被忽视。当有人提问时,聊天会话产生工作。而智能体可以在对话结束后继续产生工作。执行追踪的是任务:定时检查、传入事件、未完成的交易以及需要重试的失败步骤。 一个指令可能产生数周对 CPU、网络、存储和代码托管平台的需求。组装该服务的公司决定这些工作在哪里运行、哪些供应商获得报酬。
看看新一代智能体实际需要什么。Meta 的 Muse 运行在 Meta 自己的模型上,但实际工作发生在一台专用云虚拟机上,关闭应用后它仍在运行。一个独立进程控制它发送到互联网的内容,Stripe 为其采购签发一次性卡,在 Mac 上它还需要操作系统授权才能访问本地文件和邮件。一个助手集成了模型服务、云计算机、网络控制、支付和本地权限。每一项都引入了成本、依赖关系或另一家公司对该工作的控制权。
其他产品的发布展示了这些资源如何在对话间保持忙碌。OpenAI 的 Dots 监控客户反馈,构建并测试修复方案,并准备 Pull Request。xAI 的 Grok Bot 在共享云计算机上按计划重跑工作流,并保持浏览器会话。Microsoft 的 Copilot Cowork 运行定时任务并响应邮件或 Teams 触发器。一个用户可以启动多个任务,无需再次提示即可持续运行。
这些工作首先落在普通基础设施上。Cloudflare 网络上来自 AI 智能体的每日请求一年内增长超过 1,700%。GitHub 的 Git 活动量翻了一倍多,达到每月 4,730 亿次事件,推送量增长近五倍。负载的形态也变了:智能体几乎每一步操作都提交代码,成千上万个智能体汇入同一个分支,每次推送触发每分钟数千次拉取。GitHub 的架构无法承受,因此正在重建其存储层。
芯片厂商已经注意到了。8 月下旬,NVIDIA 开始向 Anthropic、OpenAI 和 Oracle 出货 Vera——其首款为智能体设计的处理器。交付该芯片的高管表示:“我们看到 CPU 需求正在飙升。“Intel 描述了 CPU 与 GPU 配比的变化:从训练时约 1:8(每个 CPU 对应八个 GPU)向智能体部署场景的 1:1 演进,并已将产能从消费级芯片转向服务器芯片。到 9 月底,有报道称 AMD 2027 年的服务器 CPU 产能已被预订一空。
买方也同样如此。Anthropic 同意在最初七年期限内从 Akamai 购买约 116 亿美元的算力。Akamai 将该交易与不断增长的 CPU 工作负载挂钩,预计相关资本支出约 55 亿美元。一家出售完整服务的实验室变成了围绕其模型的基础设施的主要买家。
执行也在被拆分出售。Temporal 记录已完成的步骤并协调重试。E2B 等沙箱提供商按沙箱运行期间使用的 CPU 和内存计费。执行费用在增长,争夺这块蛋糕的供应商名单也在扩大!
组装智能体的公司决定了组合方式
组装智能体的公司决定每一步需要什么,它们的选择正沿三个方向展开:使用哪种智能、工作在哪里运行、每次操作如何路由。一项任务可以使用多个模型、跨不同环境运行,并通过不同路径进入同一个应用程序。组装这些部件的人决定了哪些供应商参与、从每家采购什么。
提供“思考“的方式远比过去多。仅 OpenRouter 一家就提供超过 400 个模型,每天处理超过 10 万亿 token。小型决策模型用极短的回复回答范围狭窄的问题;Cloudflare 的 Clef-flash 每百万输入 token 收费 0.038 美元,用于选择选项或回答是/否。部分推理留在设备端:Apple 的新 Siri 在手机和 Apple 云之间选择,Windows 也在增加向本地模型的路由。有些推理只需发生一次。Google 的新 Gemini 智能体可以生成 BigQuery 报告、保存查询,之后无需 token 费用即可重新运行。
执行工作的方式同样在快速增多。以退款为例:一项服务确认智能体代表哪位客户操作以及是否有权发放款项。另一项服务提交交易,通过直连 API 或已登录的浏览器完成。第三项服务记录结果,确保任务在崩溃后仍能延续。运行这一切的工作进程可以位于笔记本电脑、云端沙箱或边缘节点,每个环节都可以来自不同的公司。OpenAI 的 Agents API 发布时就集成了九家沙箱合作伙伴,因此开发者可以从一家公司购买运行框架,从另一家购买模型,再从第三家购买计算机。
然后是负责在所有这些之间做出选择的层面。跟踪一个客服请求:一个网关检查它是否已被回答过——Cloudflare、Portkey 和 LiteLLM 可以从缓存中返回重复请求。如果没有,一个小型模型进行分类:密码重置路由到廉价模型,争议扣款路由到前沿模型。如果该提供商失败,网关切换到另一个。
把这些选择相乘,组装智能体的公司就变成了永不停歇的谈判者。许多企业软件仍按多年合同采购,但智能体工作负载越来越多地按请求计费。组装者根据完成率、速度和成本测试模型、工具和运行时的各种组合,并把更多工作分配给胜出的方案。更换运行时需要集成工作;一旦路由配置好,切换模型只需修改配置。组装者可以在每次运行时重新决定组合方式,因此每家供应商都在争夺下一个请求。
每种选择对实验室收入的侵蚀方式不同:路由到更小的模型仍然产生推理购买,提示缓存降低了请求中重复部分的成本,复用答案或运行已保存的代码则完全消除了请求。
按结果定价的模式奖励这种持续调整。Sierra 按已解决的会话或留住的客户等结果收费。交付这些结果需要消耗推理、执行容量、存储和恢复服务。在每个成功结果固定价格的条件下,完成率、重试放大和机器利用率决定了多少营收能转化为利润。
每一层都想掌控路由
下一场平台之争争夺的是:谁能让其他人变成自己的供应商。 每一层都想利用其现有优势来组织整个服务、将其卖给客户,并把剩余能力作为投入来采购。
浏览器和连接器在争夺进入应用程序的路由。Chrome 的 DevTools MCP 让智能体在获得授权的情况下使用用户已登录的浏览器,而直连连接器则无需加载页面即可执行相同操作。
设备和云在争夺对任务的持有权。以设备为中心的智能体保留本地上下文和权限,并从云端购买推理。云端智能体保留任务历史、调度下次运行,并将设备视为终端。关键在于对话结束后哪个系统记住未完成的工作。
实验室和基础设施平台在争夺操作系统层面本身。Anthropic 的 Managed Agents 即使客户自带沙箱工作进程,也保留会话历史和工作队列。Cloudflare 则从另一个方向切入,提供执行环境和持久浏览器会话,开发者可以用自己选择的模型在其上构建。
商业应用在捍卫底层交易。Salesforce 向 Claude 暴露操作,但执行自己的权限和规则。助手可以协调工作,但 Salesforce 决定其记录接受哪些更改。拥有对话并不意味着拥有对工作所发生系统的控制权。
我预计网络安全将成为推理最大的企业级用途之一(明年甚至可能达到 30%)。持续的代码审查、漏洞验证和修复测试随软件变更而产生持续的模型工作负载。网络安全厂商已经拥有客户关系、遥测数据和对被保护系统的访问权限。Palo Alto 的 Unit 42 在专有框架后组合多个模型进行持续测试;其 AI 网关执行企业策略,并在获得许可的模型和工具间路由请求。在现有安全厂商已掌控的安全合同内部,可能涌现一个可观的 token 需求新池,各实验室将在其中竞争供应,同时还有大量廉价的后训练开源权重模型参与角逐。
这些竞争决定了谁来编写采购规则、谁因协调工作而获得报酬。Warp 对每次云端运行按智能体小时收取平台积分,即使客户自带推理和工作进程,包括使用 Claude Code 或 Codex 的运行。协调服务可以持续赚取其费用,即使其下方的供应商不断更换。
资本已经投入了一个正在变化的组合
应用程序和组装者可以远在其供应商收回投资之前就改变采购内容。
Nortel 和 Lucent 是前车之鉴。它们为一个后来变得不可或缺的网络供应设备。互联网持续增长,流量持续上升。但运营商削减了设备订单,转而使用已安装的容量。技术本身成功了,但本应为其扩建买单的采购却崩塌了。
今天,NVIDIA 供应设备,CoreWeave 等新云厂商融资并运营算力。它们的客户可以在不断增加完成的工作量的同时,更换模型、调整推理调用量以及每项任务所需的基础设施。CoreWeave 自己也警告称,客户可能重新设计系统以减少对其服务的需求,并拒绝续签或扩大采购。现有合同支撑着已承诺的收入,但风险存在于未来:续约价格、未承诺的产能以及有人必须为下一个集群融资。危险在于:客户可以持续增长,而曾为其供应商融资的支出模式正在瓦解。
赌注
我的判断是,AI 的下一个阶段将打破拥有最多 GPU 与获取最多价值之间的联系。成千上万的应用和组装者将购买不断变化的组合——前沿推理、更小的模型、开源权重模型、可复用软件和执行服务——而路由将把这些采购分散到不断扩大的供应商阵营中。
AI 繁荣可以在为其融资的部分投资论点失败的同时取得成功。
相似文章
@rohanpaul_ai: 代理型AI可能正在迫使将更多关注CPU的传统计算堆栈重新回到故事的中心。这里,A…
本文讨论了代理型AI如何可能将计算焦点从GPU转回CPU,引用了OpenAI的CFO和Ark Invest的CEO。它认为代理的推理涉及编排和通用任务,CPU处理这些任务更擅长。
AI经济学 第二部分(11分钟阅读)
本文分析了AI的经济学,聚焦于GPU资源的争夺战,将人类推理的尖峰负载与智能体连续工作负载进行对比,并认为当前基础设施是为人类使用而优化的,而非要求更高的智能体推理。
AI 战争正从模型转向硬件,但我觉得讨论得远远不够
一篇评论文章认为,AI 竞争正从模型质量转向硬件部署与基础设施。文中指出,微软的 Project Solara、英伟达的 RTX Spark 以及字节跳动自研 CPU 等案例表明,智能体工作负载正推动着硅片与部署策略的革新。
AI智能体
分析高盛研究,对比AI智能体与人类在编码、支持和数据录入方面的成本,并预测token消耗增长及推理成本下降。讨论生产力提升、岗位替代及医疗健康领域的机遇。
@rohanpaul_ai: 完整视频
本文讨论了AI模型市场中的价格战,其中像Meta和Google这样的提供商通过激进的低价竞争造成了不可持续的经济状况,可能导致市场调整,因为企业重新评估对AI tokens的支出。