标签
本文提出了Apex，一个CPU-GPU协同的MoE推理系统，该系统根据token负载自适应地将GPU未命中的专家分配到CPU或GPU上，相比最强基线，预填充速度提升最高达51.9%，解码吞吐量提升最高达39.5%。
感谢 tcclaviger 为 vLLM 添加专家 RAM 卸载支持，使得在本地多 GPU 设置上运行 DeepSeek-V4-Flash-Vision-Exp 等大型 AI 模型成为可能。
在采用 slotstream 技术的低内存设备上运行 MoE 模型时，专家前瞻技术的实现带来了超过 10% 的性能提升，修正模型还能带来额外的增益。
Luce Spark 是一款开源工具，通过智能地将热门专家缓存到 GPU 上，同时将其他专家保留在系统 RAM 中，从而在 16GB GPU 上运行 35B MoE 模型。它采用校准放置和有限异步缓存，保持高吞吐量，避免了常见的卸载速度断崖。