“硬件是唯一的护城河”——我们应该现在购买新硬件还是等待?
摘要
文章讨论了硬件作为AI竞争优势日益增长的重要性,指出领先实验室更注重产品竞争力和计算规模,而非纯粹的AGI研究。文章强调了由此导致的消费级GPU供应紧张和硬件升级成本上升的问题。
“硬件是唯一的护城河”。我昨天读到这句话,起初以为又是什么人在X上装聪明。但看了Anthropic和xAI的最新进展后,我开始相信了。从长远来看,开源可能会赢,就连xAI似乎也意识到了这一点。基于过去几个月顶级AI研究者的成果来看,仅靠LLM似乎无法达到AGI。因此,大多数前沿实验室现在似乎更专注于围绕模型构建产品并保持竞争力,而不是直接追求AGI。如果LLM真的存在理论上的天花板,那么开源完全追上也只是时间问题。我们已知的是,推理竞争在不久的将来会变得更加激烈。公司可能会大规模购买更多硬件和算力资源,以确保越来越大的模型能有良好性能。另一个趋势是消费级硬件越来越贵,因为制造商现在优先满足数据中心需求而非消费级GPU,导致普通用户面临短缺。我们已经看到那些囤积了支持NVLink的3090大礼包的人现在有多开心。那么,大家怎么看?我们是应该等待,还是尽快升级?
相似文章
硬件革命:为什么AI硬件永远改变了(3分钟阅读)
近期AI硬件的进展,包括OpenAI、Etched、亚马逊和SambaNova的定制芯片,标志着向针对AI工作负载的专用ASIC的重大转变,有望带来重大效率提升,并挑战英伟达的主导地位。
关于AI硬件(7分钟阅读)
一家风投公司对AI硬件市场现状及未来走向的看法。
停止购买新硬件的理由(或者,为什么推理成本越来越低)
该文认为,AI模型效率提升如此之快,以至于维持固定智能水平所需的硬件成本大约每3个月减半,这使得租赁前沿智能或拥有落后硬件比购买新硬件更经济。
AI价格暴跌:是软件的故事,而非硬件(14分钟阅读)
本文认为,AI推理成本的快速下降是由软件优化而非硬件改进驱动的,并且运行在消费级GPU上的开放权重模型正变得越来越能与前沿模型竞争。
@TheAhmadOsman: 放下一切——为何硬件价格(包括2020年的二手RTX 3090)越来越贵——无论前沿……
这条推文讨论了硬件价格上涨(包括二手RTX 3090),并认为前沿智能不仅限于数据中心,从而论证了看好本地/开源AI的理由。