Cascadia 为英特尔硬件推出分布式 AI 推理

Reddit r/artificial 产品

摘要

Cascadia 推出了针对英特尔硬件设计的分布式 AI 推理系统,能够实现可扩展且高效的推理工作负载。

暂无内容
查看原文

相似文章

AMD与Cerebras推出AI推理解决方案(10分钟阅读)

TLDR AI

AMD与Cerebras宣布联合推出AI推理解决方案,该方案将AMD Helios机架级解决方案与Cerebras晶圆级引擎相结合,旨在实现超低延迟和高吞吐量。这种解耦式推理工作流预计每瓦每秒可处理的token数量提升高达5倍。

Cerebras 推出解耦式推理(阅读时长 6 分钟)

TLDR AI

Cerebras 在生产环境中推出分离式推理,将用于提示词预填充的 GPU 与用于解码的晶圆级引擎(Wafer Scale Engine)相结合,以超快速度实现每兆瓦 5 倍的 token 产出,满足激增的智能体推理需求。

Cascadia:在十一台 AI PC 上实现 975B 常驻 MoE 推理

arXiv cs.AI

Cascadia 论文展示了在 11 台 Intel Core Ultra X7 358H AI PC 上对 975B 总参数(41B 激活参数)的 Inkling MoE 模型进行分布式常驻推理,通过自定义 MoE 引擎与 OpenVINO 融合算子,实现了 60.29 的聚合 decode tokens/s 性能。

推理的变革(阅读时长约 8 分钟)

TLDR AI

本文分析了 Cerebras 即将进行的 IPO,将其视为 AI 硬件领域“推理变革”的信号。文章指出,尽管 Nvidia 在基于 GPU 的训练领域占据主导地位,但为了支持推理工作负载,AI 算力的未来正变得越来越异构。