面向 16GB GPU 与 Qwen 3.6 35B MoE 代码模型的穷人版推理引擎

Reddit r/LocalLLaMA 工具
llm-inference mixture-of-experts llama.cpp open-weights quantization vllm-alternative

摘要

作者将 llama.cpp 的 server 分支为 AgrillaMoE，针对 Qwen3.6-35B-A3B MoE 模型在 16GB 显存 GPU 上优化，配合 2-bit 量化可达约 57-60 tok/s，并支持 OpenAI/Anthropic API 兼容接口；其 MoE 扩展补丁在运行时增加每 token 激活专家数（20 vs 8），无需重训即可在 GPQA-Diamond 上提升约 2.5 分。

我把 llama.cpp 的 server 分支成了 AgrillaMoE，这是一个专门为 Qwen3.6-35B-A3B（约 A4B）以及 Unsloth 量化模型打造的构建版本。在一台（通过 vant.ai 租用的）16GB 显存的 V100 上，使用 2-bit 的 UD-Q2_K_XL 量化，它能在启用完整 MoE 扩展配置的情况下达到约 57-60 tok/s 的生成速度——而且它同时兼容 OpenAI 和 Anthropic 的 API，所以 Claude Code 可以直接对接它使用。 什么是 MoE 扩展？Qwen3.6-35B-A3B 每个 token 会激活 8 个路由专家。扩展补丁会在运行时提高这个预算——无需重训，也无需改动任何文件：`--moe-experts 20` 配合自适应阈值，在保留概率 p >= 0.8 × p（排名第 8 的专家）时保留专家，应用于第 25 到 39 层。这意味着你实际上在每个 token 上调用了 35B 参数中的更多部分——"检索式智能"就是由此而来。在 GPQA-Diamond 上，配合 Q8_0 量化，它取得了 84.34% 的成绩，而原版 top-8 配置为 81.82%（提升了 2.5 分）（miticooo！）。同样的权重，更好的路由。 https://github.com/vagrillo/AgrillaMoE/blob/main/gpu16gbguide.md
查看原文

相似文章

一个 80B MoE 模型（Qwen3-Next，48 GB GGUF）在 Chrome 标签页中回答问题：使用 llama.cpp 的 WebGPU 后端，专家从磁盘按需分页加载

Reddit r/LocalLLaMA

作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端，使 80B MoE 模型（Qwen3-Next，48GB GGUF）也能在 Chrome 标签页中运行，无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑，实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型，较小模型可达 22 tok/s。

Qwen 3.6 35B A3B：6GB 显存实现 131K 上下文 + 视觉能力

Reddit r/LocalLLaMA

一位用户分享了在 RTX 2060 6GB 显存 + 32GB 内存的消费级硬件上运行 Qwen 3.6 35B A3B（Q4_K_M 量化）的 llama.cpp 完整启动配置，实现了 131K 上下文与视觉能力，约 600 tok/s 预填充与 23 tok/s 解码速度，通过将 MoE 专家层与视觉投影器卸载到 CPU 来控制显存占用。