ssd-serving

标签

#ssd-serving

内存墙的另一半：使用训练路由预测从SSD服务35B MoE模型

arXiv cs.AI ↗ · 3天前缓存

Edge0是一个流式MoE推理引擎，它使用训练路由预测从SSD服务35B混合专家模型，在消费级硬件上实现接近fp16的性能，且内存使用率低。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈