标签
一位Reddit用户分享了如何在拥有16GB显存和32GB内存的系统上，通过激进量化及特定llama.cpp设置成功运行Qwen 3.8 Next MoE模型，实现了在有限硬件上高效运行大模型的效果。
DeepSeek 发布了 V4.1 Flash，一个 552B MoE 模型，具有高效的活动参数，性能接近 GPT-5.6 Sol，而成本却低得多。
在 10-12 张 RTX 3090 GPU 上运行 DeepSeek-V4-Flash-Vision-Exp 285B MoE 模型，可实现超过 60-120 tok/s 的解码速度，支持视觉和工具调用，文档完整，便于重现。
一个7.9B MoE模型在M4 Pro上以每秒152个令牌的速度运行，配备64GB统一内存，能够离线处理敏感合同数据，并展示了本地AI的实际应用。
使用2台DGX Spark集群，通过NVMe映射和推测解码等优化，在Qwen3.8-Flash-Next模型上实现了181令牌每秒的聚合吞吐量。
观察到在使用 GPU+CPU 卸载运行混合专家模型时，llama.cpp 在 P 核上的运行速度比 E 核慢。
一位用户分享了他们在复杂工具调用任务中比较多个大语言模型（Qwen、Gemma）的经验，认为 Qwen3.5 122B 最可靠，同时批评了较小的 MoE 模型不稳定。
一种名为 luce spark 的技术让 Qwen 35B-a3B MoE 模型能够在16GB GPU（如RTX 3090）上运行，通过学习哪些专家被频繁使用，并将其余专家从内存流式加载，实现约100 tok/s，且不受显存瓶颈限制。
Llama.cpp 版本 B9406 修复了在使用 MTP 和 MoE 视觉模型（例如 Qwen3.6-35B-A3B）时出现的崩溃问题 (GGML_ASSERT)。
Cohere发布Command A+，其首个混合专家模型，采用Apache 2.0许可，具备高效量化，可在1-2块GPU上部署，优先考虑实用性和对开发者的开放访问。