为什么我认为‘just go local’的AI趋势只是一种科技泡沫的错觉
摘要
文章认为,使用昂贵AI硬件‘本地化’的趋势是一种科技泡沫的错觉,因为大多数用户高估了自己的需求,无法证明成本的合理性,尤其是在云端AI在财务状况不可持续后转向按使用量计费的情况下。
几天前,我在这里发帖讨论了各家AI最新转向基于算力的使用限制模式,而评论中最常见的‘建议’之一总是某种变体的‘直接本地化吧,花2000美元买台96GB的迷你PC来绕过公司限制’。我认为这是严重的发烧友错觉。残酷的事实是,大多数人严重高估了自己的实际使用量。云端收紧限制的真正原因是之前的系统在财务上已经崩溃了。只需极低的名义成本,一小部分重度媒体用户就基本上在滥用系统,迫使公司每年亏损数十亿美元。现在这些往往就是那些在限制收紧、AI蜜月期结束时大喊‘这不公平’的人。大多数人并不是按照‘什么能最好地完成工作’的哲学行事,而是按照‘什么在我的预算范围内’的哲学。对于普通创意写作者、修改作业的学生或研究员来说,碰到使用上限的时候,他们根本拿不出那笔钱来买专门的AI设备,也不希望把自己的家庭办公室变成一个耗电、嘈杂的服务器机房。TLDR:爱好者正在被从主流中分离出来。
相似文章
AI太贵了
文章认为,对于大多数公司而言,人工智能过于昂贵,在经济上不可行。超大规模云服务商在数据中心上花费了数万亿美元,但却未能产生相应的人工智能收入。文章指出,只有像NVIDIA这样的硬件供应商才能从当前的人工智能泡沫中受益。
你是否认真尝试过本地AI?
作者认为本地AI因可用性障碍而被低估,并介绍了他们的项目Euler,旨在让本地AI像云AI一样无缝,同时具备隐私和所有权优势。
本地模型是否比预期更快变得“足够好”?
这篇文章讨论了本地AI模型在日常任务中日益增长的可行性,暗示了向混合架构的转变,这种架构优化成本和延迟,而不是仅仅依赖前沿的云模型。
AI云基础设施市场是否已失控?
本文探讨了AI云基础设施领域高达7250亿美元的资本支出大战,质疑市场是否正变得难以管理,并指出归纳分析将成为下一个主要战场。
AI在经济上是否越来越只可能由超大规模云服务商承担?
文章认为,高额的资本支出、电力基础设施和GPU成本使得AI开发对所有除了谷歌、微软、亚马逊和Meta这类最大超大规模云服务商之外的企业在经济上不可持续。