inference-hardware

NVIDIA正在将Groq技术集成到机架规模的产品中，以通过跨专业处理器分配工作负载来增强代理AI性能，改善令牌生成延迟和整体响应性。

在 Startup School 2026 上，谷歌首席科学家 Jeff Dean 讲述了那个让谷歌搜索索引能装进内存的餐巾纸计算，以及 TPU 的研发过程，探讨了推理硬件专业化的趋势，以及初创公司如何依然有机会竞争。

AI 推理硬件初创公司 Etched 在获得 8 亿美元融资并签署超过 10 亿美元客户合同后结束隐身模式。首批机架将于今年夏季发货，声称在吞吐量、延迟和能效方面达到业界领先水平。