rack-scale

NVIDIA正在将Groq技术集成到机架规模的产品中，以通过跨专业处理器分配工作负载来增强代理AI性能，改善令牌生成延迟和整体响应性。

Cerebras发布CS-4，这是一款机架级AI系统，采用WSE-3 Turbo技术，声称推理速度比GPU快高达30倍，具有模块化设计以实现高效的超大规模部署。

AMD推出Helios，这是其首个机架级AI系统，旨在与Nvidia产品竞争，微软成为其客户之一。该系统定于今年晚些时候发货。

NVIDIA认为每瓦性能是衡量AI基础设施效率的关键指标，并强调其Blackwell和Vera Rubin平台在MoE模型上实现了相比Hopper高达25倍的提升。