我们什么时候才能买到消费级推理芯片？
摘要
文章质疑为何没有创业公司推出售价 200–300 美元、内置 Llama 3 的消费级推理芯片，并暗示行业更偏爱靠 API 订阅持续赚钱，而非一次性硬件销售。
可能是个蠢问题，但我真搞不懂。过去几年 AI 创业公司砸了几十亿美元，却没人把模型直接做进一块消费级芯片？比如一根 200 美元的 U 盘，30 W 功耗、阅读速度跑 Llama 3，插上电脑就能用，完事。Taalas 有点像在做，但只面向数据中心。为啥？现在的开源模型对 90% 的日常需求已经绰绰有余，未来几年照样够用。“模型还没流片就过时” 的说法越来越站不住脚。我开始怀疑，整个行业是不是就想靠 API 订阅一直薅消费者羊毛，而不肯一次性卖芯片。感觉花 300 美元做个 “Llama 盒子” 肯定能赚钱，但可能没人愿意让持续收入停下来。我漏了啥？
相似文章
现实来看，消费级硬件在 AI 领域的最佳用途是什么？
探讨消费级硬件在执行推理、微调及合成数据生成等 AI 任务中的实际价值，质疑本地部署除隐私保护外是否还能提供实质性的贡献。
OpenAI与Broadcom发布专为LLM推理优化的芯片
OpenAI与Broadcom发布了Jalapeño，一款专为LLM推理定制的芯片，每瓦性能显著优于当前最先进水平，从零开始为当前及未来AI模型设计。
@gabriel1：推理将成为全球最大的市场，智能的需求无限，Etched 正在带来 AI 夏天
AI 推理硬件初创公司 Etched 在获得 8 亿美元融资并签署超过 10 亿美元客户合同后结束隐身模式。首批机架将于今年夏季发货，声称在吞吐量、延迟和能效方面达到业界领先水平。
你认为运行本地大型语言模型的专用硬件会很快变得平价吗？
讨论了运行本地大模型的平价专用硬件的可能性，考虑到中国制造商大规模生产低成本硬件的能力。
OpenAI与Broadcom联合宣布专为大规模LLM推理设计的芯片
OpenAI与Broadcom宣布推出Jalapeño，这是一款专为数据中心大型语言模型推理定制的ASIC芯片。该芯片承诺在每瓦性能上显著优于当前最先进水平。