@theemozilla: 我们正在努力改善 Hermes 中的本地模型体验,每个参数量级的最佳本地模型是什么?

X AI KOLs Timeline 新闻

摘要

用户询问针对不同 VRAM 级别(8-16GB、24-32GB、128GB)的最佳本地 AI 模型推荐,提到了 Gemma4、Qwen 和 DeepSeek 变体,因为他们正在改进 Hermes 中的本地模型支持。

我们正在努力改善 Hermes 中的本地模型体验,每个权重级别的最佳本地模型是什么? 我的初步猜测,请指正: 8-16 GB VRAM Gemma4 12B 24-32 GB VRAM Qwen3.6 27B Qwen3.6 35B 128 GB VRAM (Spark, M3 Max) ??? 你能运行 DSv4-Flash 吗?
查看原文
查看缓存全文

缓存时间: 2026/07/10 08:07

我们正在改善 Hermes 中的本地模型体验,每个显存等级下最佳的本地模型有哪些?

我的瞎猜,欢迎指正:

8-16 GB 显存
Gemma4 12B

24-32 GB 显存
Qwen3.6 27B
Qwen3.6 35B

128 GB 显存(Spark、M3 Max)
??? 能用 DSv4-Flash 吗?

相似文章

所有可在 10–16GB 显存上运行的模型排名

Reddit r/LocalLLaMA

一位社区作者对所有能在 10–16GB 显存上运行的大语言模型进行了排名,评估了 Gemma 4、Qwen 3.6、GLM-4.7 Flash 和 Mistral 等模型在本地角色扮演场景中的速度、连贯性、多语言处理能力、低质生成模式、指令遵循能力和内容审查程度。