Hy3 (295B MoE) 和 NVIDIA Nemotron-Labs-Audex-30B-A3B (支持音频的 30B MoE) GGUF 量化版本

分享两组 GGUF 量化包，均采用相同处理方式：imatrix 量化、与 BF16 参考 logits 对比的 KLD/PPL 测量、llama-bench 吞吐量数据，以及仓库中包含的所有原始基准数据。没有基于“感觉”的质量声称——仓库中的文件可以复现每个数字。 1. Hy3 — 腾讯的 295B MoE (21B 活跃) LordNeel/Hy3-GGUF 基础模型：tencent/Hy3 — 295B MoE，21B 活跃，262K 上下文，Apache 2.0 许可。从 BF16 转换，使用支持 Hy3 的 llama.cpp 分支，imatrix 来自自定义校准语料库。 量化大小 平均 KLD 最高 token 一致率 Gen tok/s* Q6_K 226 GiB 0.0207 95.1% 57.4 Q4_K_M 167 GiB 0.0904 90.0% 67.3 Q3_K_L 143 GiB 0.1624 86.8% 63.3 IQ2_M 90 GiB 0.5314 74.7% 78.7 *8x RTX PRO 6000 Blackwell, layer split, F16 KV cache。 质量：WikiText-2，128 个 chunk x 512 上下文 vs BF16 无 MTP 参考 logits。 推荐：如果你有大约 256 GB 显存，Q6_K 实际上是无损的。Q4_K_M 是合理的默认选择（适合 2x 96 GB GPU）。IQ2_M 可以压入单张 96 GB 显卡或 128 GB Mac，但质量下降是真实的。 注意事项：使用 --split-mode layer（tensor split 在此架构的 CUDA 解码中崩溃），并且 MTP/NextN 块被有意排除。如果你想自行制作量化版本，仓库中包含 imatrix、校准语料库和完整的复现脚本。 2. Nemotron-Labs-Audex-30B-A3B — NVIDIA 支持音频的 30B 混合 MoE LordNeel/Nemotron-Labs-Audex-30B-A3B-GGUF 基础模型：nvidia/Nemotron-Labs-Audex-30B-A3B — 30B Nemotron-H 混合 MoE，每个 token 约 3B 活跃参数，1M 上下文，音频理解 + 生成。一个仓库中包含两个轨道： quants/ — 纯文本 GGUF，用于普通 llama.cpp 使用 audio_quants/ — 全词汇音频生成 GGUF + 一个 audio_support/ 辅助包（NV-Whisper 编码器、因果语音解码器、增强 VAE，以及 NVIDIA 的 HF/vLLM 脚本用于 TTS、音频 QA 和语音到语音） 质量在三个语料库（WikiText-2 / code / GSM8K）上测量，吞吐量在 2x RTX PRO 6000 Max-Q 上测量。 纯文本轨道： 量化大小 平均 KLD 最高 token 一致率 Gen tok/s Q8_0 31.3 GiB 0.0056 97.0% 287 Q5_K_M 24.2 GiB 0.0127 95.5% 334 Q4_K_M 22.8 GiB 0.0180 94.7% 345 MXFP4_MOE 16.7 GiB 0.0405 92.3% 329 BF16 在同设备上生成约 177 tok/s，因此量化版本运行速度约快 2 倍。MXFP4_MOE 是实验性的但很有趣：文件最小，提示词 token/s 为 11.5K，而 K 量化约为 8.5K。 音频生成数字相近，详情见模型卡，包含每个语料库的细分和图表。 在开始使用之前：许可证是 NVIDIA OneWay 非商业用途（继承自上游），不得用于商业用途。llama.cpp 运行 nemotron_h LM 端；完整的音频管道需要辅助包和 NVIDIA 的脚本。目前还没有一体化的音频 GGUF 运行时。 在 K 量化过程中，401 个张量中有大约 133 个回退（Nemotron-H MoE/SSM 张量形状），这就是为什么 Q6_K 的大小接近 Q8_0。 两个仓库都包含图表、校验和、量化计划和每个量化的日志。欢迎提问和量化请求。