@LambLabs:Lamb Labs(YC S26)正在构建定制AI推理芯片,可实现20,000+ tok/s的速度,且每瓦特智能(Intelligence per Watt)比传统GPU高63倍……
摘要
Lamb Labs(YC S26)宣布推出定制AI推理芯片,声称速度可达20,000+ tok/s,且每瓦特智能(Intelligence per Watt)比传统GPU高63倍,并指出GPU之所以被广泛采用是因为其可用性,而非其适用性。
查看缓存全文
缓存时间: 2026/08/05 04:23
Lamb Labs(YC S26)正在构建定制的AI推理芯片,可实现20,000+ tok/s的速度,且每瓦特智能(IPW)比传统GPU高63倍。
GPU之所以成为AI的默认选择,是因为它们当时可用,而不是因为它们是合适的硬件。 https://t.co/MJgEcZCjtu
相似文章
OpenAI与Broadcom发布专为LLM推理优化的芯片
OpenAI与Broadcom发布了Jalapeño,一款专为LLM推理定制的芯片,每瓦性能显著优于当前最先进水平,从零开始为当前及未来AI模型设计。
Tensordyne 发布对数AI计算芯片:每瓦特令牌数比NVIDIA Blackwell多17倍,吞吐量高13倍。
Tensordyne 宣布了一项突破性推理系统,在硬件中使用对数数学,声称每瓦特令牌数比NVIDIA Blackwell多17倍,吞吐量高13倍,这是通过将对数空间中的复杂乘法替换为简单加法实现的。
标准GPU上的实时LLM推理:每请求3k tokens/秒
Kog AI 发布了 Kog Inference Engine 的技术预览版,通过协同设计模型架构、运行时和底层 GPU 代码,在标准数据中心 GPU 上实现了每请求 3,000 tokens/s 的性能,面向延迟敏感的 AI 代理工作流。
@rohanpaul_ai: @TensordyneInc 在推理机架方面取得了重大突破。他们刚刚宣布了一款AI推理机架,声称……
Tensordyne 发布了 Napier AI 推理机架,声称通过使用对数空间数学来降低能耗和晶体管使用量,其吞吐量是 Nvidia NVL72 GB300 的 13 倍,可能颠覆推理硬件格局。
OpenAI与Broadcom联合宣布专为大规模LLM推理设计的芯片
OpenAI与Broadcom宣布推出Jalapeño,这是一款专为数据中心大型语言模型推理定制的ASIC芯片。该芯片承诺在每瓦性能上显著优于当前最先进水平。