内存富裕/显卡贫瘠的人错了吗?
摘要
讨论了本地AI中密集模型与混合专家(MoE)模型之间的权衡,指出高内存用户除了Qwen 3.5 122B之外,MoE选择有限,并质疑大显存是否是唯一可行的路径。
大家好,我知道每个人对本地模型都有自己的定义,但在我看来,前沿本地模型有两种“合理”的类型。一种是密集模型,勉强能塞进32GB或24GB显存,适合那些显存比较富裕的用户;另一种是参数在100B左右的MoE模型,大约100B参数可以通过混合卸载在128GB内存上以不错的速度运行,因为128GB是标准主板支持的最大容量。再说,它虽然便宜,但普通人仍然买得起,比一辆车还便宜😄。我们看到很多小型的密集模型,比如Qwen 27B,但对于100B级别的MoE类型,之前只有Qwen 3.5 122B,他们甚至没有发布3.6版本。最好的MoE模型参数范围在30-35B。这是否意味着对于内存富裕但显卡贫瘠的用户来说,选择不多,大显存才是唯一的好路子?当然,你可以把Minimaxi压到Q3,或者把DeepSeek V3压到Q1。但就工具调用、速度和实际使用而言,几乎不可用。我在内存危机之前买了Strix Halo,但我发现128GB除了能加载多个模型(这可以通过llama swap实现)之外,几乎没有其他用途。
相似文章
除了更快之外,MoE 模型的意义何在?
讨论混合专家(MoE)模型在速度之外相对于密集模型的优势,考虑内存限制和扩展限制。
@servasyy_ai:越稀疏,越便宜!这正是 Qwen3.8-Flash-Next 的架构选择,与 GLM-5.3-Flash 完全不同……
该帖指出,Qwen3.8-Flash-Next 采用的超稀疏 MoE 设计(专家池大,每个 token 激活的专家少)在同一块 RTX 4090 48G 上解码速度达到 GLM-5.3-Flash 的 3 倍,因为带宽读取量与激活参数量成正比。文章认为,专家粒度的极致稀疏是 Qwen4 之前本地模型用户值得关注的关键架构方向。
将大规模MoE训练保持在固定GPU内存内(20分钟阅读)
本文介绍了限制大规模MoE训练中四个关键内存峰值的方法,使得在1M上下文长度下使用固定GPU内存进行训练成为可能,并且相比基线,吞吐量提升高达10.4倍。
@TheAhmadOsman: 像 Qwen 3.8 27B 这样的密集模型在 DGX Spark 这类统一内存系统上体验非常糟糕,顺便说一句,DGX Sparks 更适合……
Ahmad Osman 认为,像 Qwen 27B 这样的密集模型在 NVIDIA DGX Spark 等统一内存系统上表现不佳,并提出 MoE 模型更为合适;他还称,RTX PRO 6000 等独立 GPU 在智能体工作负载上能提供远为更好的性能。
Rotary GPU:在有限显存下探索大型MoE模型的本地执行
本文介绍了Rotary GPU,一种探索性的执行方法,能够在有限显存的消费级硬件上运行大型混合专家(MoE)模型,在配备8GB显存的RTX 4060上达到21 tokens/s的速度。该方法关注部署的可行性而非架构改进。