数百万美元AI资金背后：企业GPU平均利用率仅5%，推理成本与所有权成本从34%升至41%
摘要
急于购买大规模GPU集群部署AI的企业，如今面临低利用率（5%）和成本飙升（推理加所有权成本从34%升至41%）的困境，凸显AI部署中的重大基础设施低效问题。
嗯，在ChatGPT推出后的几年里，企业争相购买大规模GPU集群，因为AI需求爆发且算力稀缺。但我认为现在这不仅仅取决于利用率，还涉及调度、推理效率、路由、治理、能源接入和运营管理等多个方面。讽刺意味十足：本应最高效改善人类生活的技术，却存在如此庞大的基础设施低效问题，大部分预算都花在了硬件资源分配上。
来源：https://winbuzzer.com/2026/05/11/enterprises-face-underused-gpu-fleets-as-ai-costs-rise-xcxwbn
相似文章
AI 和计算
OpenAI 发布分析表明，自 2012 年以来，最大规模 AI 训练运行所使用的计算量以 3.4 个月的倍增周期呈指数级增长，累计增长 30 万倍，远远超过摩尔定律的增长速度。该分析预测这一趋势可能会继续，并呼吁增加学术 AI 研究经费以应对不断上升的计算成本。
企业AI现状
OpenAI发布了2025年企业AI采用报告，显示超过100万商业客户使用OpenAI工具，并呈现显著规模化指标：ChatGPT消息量增长8倍，API推理令牌消耗同比增长320倍。报告强调了可衡量的生产力提升（每天节省40-60分钟）、全球扩张，以及组织中AI领先者与落后者之间日益扩大的差距。
推理的变革（阅读时长约 8 分钟）
本文分析了 Cerebras 即将进行的 IPO，将其视为 AI 硬件领域“推理变革”的信号。文章指出，尽管 Nvidia 在基于 GPU 的训练领域占据主导地位，但为了支持推理工作负载，AI 算力的未来正变得越来越异构。
AI推理遵循着截然不同的规则（9分钟阅读）
文章指出AI推理对云数据基础设施提出了独特挑战，其需求更接近高并发OLTP系统，而非传统面向人类速度的应用。文章强调需要优化存储和数据访问层，以应对自主智能体驱动的"AI数据海啸"。
为所有人扩展AI
OpenAI宣布获得1100亿美元新融资，融资前估值为7300亿美元，融资方包括SoftBank、NVIDIA和Amazon等主要投资者，并建立战略合作伙伴关系以扩展计算能力和AI产品的全球覆盖范围。该融资旨在加速前沿AI在消费者、开发者和企业中的部署。