dense-models

作者在MacBook Pro上测试并比较了密集与MoE AI模型的并发性能，发现由于每个token的内存带宽使用更低，MoE模型的扩展性显著更好。

讨论在12GB显存上运行LLM，注意到当前焦点是稠密模型，如Muse Glimmer 30B和Qwen 3.8 27B，并质疑是否需要升级到24GB显存。

Ahmad Osman 认为，像 Qwen 27B 这样的密集模型在 NVIDIA DGX Spark 等统一内存系统上表现不佳，并提出 MoE 模型更为合适；他还称，RTX PRO 6000 等独立 GPU 在智能体工作负载上能提供远为更好的性能。

对llama.cpp中原生MTP推测解码的分析表明，像Qwen3.6-27B这样的密集模型获得了显著的加速（1.4倍至2.2倍），但在MoE架构上结果不尽人意，由于每步开销已经很低，收益微乎其微。

讨论了一种常见观点，即低活跃参数量的MoE模型不如密集模型，并认为路由器的有效性和架构细节才是关键。

一个系统框架通过专家评分、选择、分组和知识蒸馏将混合专家模型转换为稠密架构，相比传统剪枝方法实现了更优的性能和效率。

讨论混合专家（MoE）模型在速度之外相对于密集模型的优势，考虑内存限制和扩展限制。

讨论了本地AI中密集模型与混合专家（MoE）模型之间的权衡，指出高内存用户除了Qwen 3.5 122B之外，MoE选择有限，并质疑大显存是否是唯一可行的路径。