为什么我认为‘just go local’的AI趋势只是一种科技泡沫的错觉
摘要
文章认为,使用昂贵AI硬件‘本地化’的趋势是一种科技泡沫的错觉,因为大多数用户高估了自己的需求,无法证明成本的合理性,尤其是在云端AI在财务状况不可持续后转向按使用量计费的情况下。
几天前,我在这里发帖讨论了各家AI最新转向基于算力的使用限制模式,而评论中最常见的‘建议’之一总是某种变体的‘直接本地化吧,花2000美元买台96GB的迷你PC来绕过公司限制’。我认为这是严重的发烧友错觉。残酷的事实是,大多数人严重高估了自己的实际使用量。云端收紧限制的真正原因是之前的系统在财务上已经崩溃了。只需极低的名义成本,一小部分重度媒体用户就基本上在滥用系统,迫使公司每年亏损数十亿美元。现在这些往往就是那些在限制收紧、AI蜜月期结束时大喊‘这不公平’的人。大多数人并不是按照‘什么能最好地完成工作’的哲学行事,而是按照‘什么在我的预算范围内’的哲学。对于普通创意写作者、修改作业的学生或研究员来说,碰到使用上限的时候,他们根本拿不出那笔钱来买专门的AI设备,也不希望把自己的家庭办公室变成一个耗电、嘈杂的服务器机房。TLDR:爱好者正在被从主流中分离出来。
相似文章
AI太贵了
文章认为,对于大多数公司而言,人工智能过于昂贵,在经济上不可行。超大规模云服务商在数据中心上花费了数万亿美元,但却未能产生相应的人工智能收入。文章指出,只有像NVIDIA这样的硬件供应商才能从当前的人工智能泡沫中受益。
AI数据中心:炒作背后的真相
文章认为,大规模AI数据中心的建设是由补贴定价而非实际需求驱动的投机泡沫,AI的未来在于边缘侧更小的开源模型。文章强调了这对能源电网和气候目标的负面影响,并警告泡沫破裂可能导致经济衰退,但不会终结AI。
本地AI的实际可访问性如何,如果可负担的前沿模型访问不再持续会发生什么?
作者讨论了普通技术爱好者对本地AI硬件的可访问性,质疑廉价前沿模型的可持续性,并探讨本地设置何时比云服务更具成本效益。
本地AI的未来
本文讨论了从本地计算到云计算的历史过渡,并推测AI的未来,质疑其是否会主要基于云,或者是否存在本地托管AI系统的市场。
本地模型性能越好,购买专用硬件运行它们就越难以证明其合理性。
文章指出,随着本地AI模型的改进,购买硬件的经济理由变得薄弱,因为租赁模型也在进步,导致利用率下降和固定折旧成本增加;只有在数据隐私或高利用率场景下,购买才具有合理性。