Stratum：采用3D堆叠DRAM的系统硬件协同设计以实现高效MoE

Hacker News Top 论文
system-hardware-co-design 3d-stackable-dram mixture-of-experts efficient-ai hardware-acceleration memory-architecture

摘要

介绍了Stratum，一种采用3D堆叠DRAM的系统硬件协同设计方法，以高效加速混合专家（MoE）模型。

暂无内容
查看原文

相似文章

内存富裕/显卡贫瘠的人错了吗？

Reddit r/LocalLLaMA

讨论了本地AI中密集模型与混合专家（MoE）模型之间的权衡，指出高内存用户除了Qwen 3.5 122B之外，MoE选择有限，并质疑大显存是否是唯一可行的路径。

MawForge：面向本地混合专家推理的内存受限专家物化

arXiv cs.LG

MawForge 提出了一种内存受限的方法，用于在受限的统一内存机器上服务大型混合专家（MoE）语言模型，通过将完整模型存储在磁盘上，并按需将专家张量物化到有限缓存中。在 MacBook Pro M5 Pro 上的实验表明，能够在 24GB 内存范围内有效服务 34GB 和 25GB 的模型，并分析了缓存大小权衡和推测解码结果。

多层级MoE缓存

Reddit r/LocalLLaMA

讨论MoE模型的多层级缓存策略，通过将频繁激活的专家保留在GPU上来提升推理速度，参考了PowerInfer和llama.cpp分支等现有实现。