5.6 Sol 模型将于七月登陆 Cerebras,推理速度达每秒 750 token

Reddit r/singularity 模型

摘要

5.6 Sol 模型将于七月在 Cerebras 硬件上运行,提供每秒 750 token 的推理速度。

https://preview.redd.it/8nbr61qjzn9h1.png?width=1853&format=png&auto=webp&s=a223073294a2498e7557061f8b3fc822eb677f96 实在是太疯狂了
查看原文

相似文章

AMD与Cerebras推出AI推理解决方案(10分钟阅读)

TLDR AI

AMD与Cerebras宣布联合推出AI推理解决方案,该方案将AMD Helios机架级解决方案与Cerebras晶圆级引擎相结合,旨在实现超低延迟和高吞吐量。这种解耦式推理工作流预计每瓦每秒可处理的token数量提升高达5倍。