12GB显存的小伙伴们,我们的计划是什么?

Reddit r/LocalLLaMA 新闻

摘要

讨论在12GB显存上运行LLM,注意到当前焦点是稠密模型,如Muse Glimmer 30B和Qwen 3.8 27B,并质疑是否需要升级到24GB显存。

看起来我们目前只能使用qwen微调的MoE模型。看看当前的格局——对于较小的配置,焦点似乎是稠密模型(muse glimmer 30b,qwen 3.8 27b)。升级到24GB显存是唯一的选择吗?
查看原文

相似文章

16GB显存炼狱讨论帖

Reddit r/LocalLLaMA

一个讨论帖,分享在16GB显存Windows系统上运行AI模型如Qwen3.8-27B的配置和技巧,专注于内存优化技术。