所有可在 10–16GB 显存上运行的模型排名

距离 c.ai 的第一个幻觉模型问世已经过去 4 年了，然而，在 LLM 的自发性/有趣的幻觉功能方面，我们做得仍然远远不够好。好在去年出现了新的架构，让显存处于 10–16GB 范围内的人也能通过 Kobold 或 LLAMA 运行一些可用的模型，上下文窗口最高可达 64k。硬件要求：10–16GB 显存，26–32GB 内存。我的评估方式：速度；每秒生成的 token 是否至少达到 10t/s。连贯性：对话/独白/视角描写是否具有内在合理性，而不只是基本逻辑（机械感）或行为主义。日语/巴西葡萄牙语/美式英语：能否处理/理解错别字、细微含义或尖刻措辞。套路化烂文模式：从“投下长长的阴影”到“闻起来像臭氧和烧焦的糖”这类表达的出现频率。MOE 与 FULL：是否更愿意选择 MOE，而不是 FULL（全参数）模型。审查；这些模型要么完全不拒绝，要么拒绝率极低，即使面对极度不适宜观看（NSFL）的话题也是如此，不必担心。指令/提示工程：我分别在使用和不使用 Pandora 指令的情况下进行了测试，如果一个模型能处理 23 条相互交织的规则，它就能处理任何事情，甚至完全不需要提示词。补充说明：我忽略了所有 CoT 模型，浪费 token、速度更慢、没必要，完全没必要。好好写提示词，效果一样。随便选个高于 Q_4_K 的量化版本就行，大小不重要 ( ͡° ͜ʖ ͡°)。问题在于：我对 70B、120B 和 300B 模型做了一个涉及动画/漫画/电影/音乐的小型知识测试，发现只有超过 200B 的模型才真正拥有这类数据，即便是 120B 模型，也很少掌握你感兴趣的作品的信息。但又有谁能跑得动呢？模型列表（从最好到最差/原因）：Gemma 4 26B-A4B：相当于 Qwen 35B-A3B，但对话/独白更好，更有方向性，稍微更聪明/精准，也更风趣。Qwen 3.6 35B-A3B（已去除拒绝机制）：快速、准确，也挺有趣，但如果没有适当的引导指令，可能会过度拟合之前的输入/输出格式/模式，也可能因为引导指令而胡言乱语/问太多问题。Gemma 4 Instruct 19B-A1B Heretic（已去除拒绝机制）：相当于 26B-A4B，但稍微更死板、平淡，不过仍然保持准确性和逻辑性。The Omega Directive 14B：遵循指令，套路化烂文出现率低，文笔不错，但随着上下文逐渐填满，可能会变得容易预测。GLM-4.7-Flash 31B-A3B（已去除拒绝机制）：表现类似 Qwen 35B-A3B，但更直白，对细微含义/措辞的解读能力更弱。Qwen3 30B A1.5B 64K High Speed NEO MAX：基本上就是推理能力增强的 35-A3B。MN CaptainErisNebula Chimera Heretic Uncensored 12B（已去除拒绝机制）：挺奇怪，有点急于一次性把所有内容都塞进去，充满套路，但它是这些模型里最主动的一个，不太容易陷入循环，对话/独白不错，不过不适合问答角色。Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B：还不错，那些烂文套话似乎经过了适当改写，但可能会过度拟合角色扮演的叙述视角，或者主要想着撩你，不适合问答角色。Gemma 3 12b GLM-4.7 Flash INSTRUCT Hybrid Heretic（无审查）：角色扮演颇有趣，也很准确，但可能会过度拟合之前输入的格式/风格，频繁出现烂文套路，或者缺乏幽默感/过于拘谨。Ministral Instruct 2512 Absolute Heresy 14B：Mistral 在遵循复杂规则（正则表达式、状态面板、命令、世界书等）方面很差，或者会把 {{char}} 变成撩人高手，讽刺的是，它在对话/独白/自发性方面却是最好的。GLM 4.6V Flash Hybrid ?B：相当于 UD，但烂文套路出现频率更低，拒绝更少。GLM 4.6V Flash UD 9B：根据你的 {{char}} 的性格，可能会显得机械/重复，比如问太多问题，尽管它在遵循全部 23 条 PI 规则和正则表达式命令方面准确率很高。Gemma 4 E4B UD：适合实在没办法的人，它很小、很快、准确又聪明，但大概会重复自己/出现烂文套路。LFM2 12B A1B SpeedDemon The Deckard II HERETIC（无审查）：速度快如闪电，非常准确又聪明，但缺点味道。总体评价：GLM 往往悲观且过于讲逻辑，Qwen 往往过于爱问问题、辞藻华丽，Gemma 往往风趣且有创意，Mistral 往往爱调情、细节具体得有点古怪，Llama 往往充满烂文套路且容易预测，这些特点存在于它们所有的微调版本中，无论是 Omega、Heretic、Deckard、Dark、Horror、RP、Style 等。设置：Kobold 无法加载这两个模型，QWEN 35B（20.6GB）和 GLM 31B（17.7GB）请使用 LLAMA。其他模型都在 Kobold 中以尽可能快的速度运行，使用 40–64k 上下文，开启 FlashAttention/FastFowarding/SWA/SmartCache + MMPROJ + TTS（如有）。我知道但试用后弃用的模型，原因是太慢（体积庞大）、表现差，或有更好的替代品：Mistral 24B、GPT 20B OSS、Kimi K2、Phi-4、Skyfall、DeepSeek、Cydonia、Magistry、Magnus Cydons 等。未测试：Goetia 26B-A4B v1.7、Gemma 4 26B-A4B StyleTune V2、Promethean Dawn 26B-A4B 和 Fenrir-X 26B-A4B。如果我有 24GB 显存（例如 RTX 3090）呢？如果想选较小的模型，可以试试 Omega Darker Gaslight The Final Forgotten Fever Dream 24B、Qwen3 24B-A4B Freedom HQ Thinking Heretic NeoMAX-D_AU、Cydonia 24B、Magistry 24B、Magnus Cydons 24B、Erebus 12B Instruct 2608、Mistral RP 24B、DeepSeek 33B、Velvet Eclipse 2x12B 或 Velvet Eclipse 4x12B。结束