@LambLabs:Lamb Labs(YC S26)正在构建定制AI推理芯片,可实现20,000+ tok/s的速度,且每瓦特智能(Intelligence per Watt)比传统GPU高63倍……

X AI KOLs Following 产品

摘要

Lamb Labs(YC S26)宣布推出定制AI推理芯片,声称速度可达20,000+ tok/s,且每瓦特智能(Intelligence per Watt)比传统GPU高63倍,并指出GPU之所以被广泛采用是因为其可用性,而非其适用性。

Lamb Labs(YC S26)正在构建定制AI推理芯片,其速度可达20,000+ tok/s,每瓦特智能(IPW)比传统GPU高63倍。 GPU成为AI的默认选择,是因为它们容易获得,而不是因为它们是合适的硬件。https://t.co/MJgEcZCjtu
查看原文
查看缓存全文

缓存时间: 2026/08/05 04:23

Lamb Labs(YC S26)正在构建定制的AI推理芯片,可实现20,000+ tok/s的速度,且每瓦特智能(IPW)比传统GPU高63倍。

GPU之所以成为AI的默认选择,是因为它们当时可用,而不是因为它们是合适的硬件。 https://t.co/MJgEcZCjtu

相似文章

标准GPU上的实时LLM推理:每请求3k tokens/秒

Hacker News Top

Kog AI 发布了 Kog Inference Engine 的技术预览版,通过协同设计模型架构、运行时和底层 GPU 代码,在标准数据中心 GPU 上实现了每请求 3,000 tokens/s 的性能,面向延迟敏感的 AI 代理工作流。