标签
一项详细基准测试，比较了 Qwen3.6 27B 在 GGUF、NVFP4、AWQ、AutoRound 和 FP8 格式下的 16 种量化，测量与未量化参考的 KL 散度。纯权重的 GGUF 量化通常在质量-大小权衡上表现最佳，而 vLLM 量化则差异显著。
Unsloth 发布了 Meta 的 Muse Glimmer 30B 模型的 GGUF 量化版本，专为本地智能体任务设计，支持多模态输入、工具使用和多步推理。
对 Qwen 3.5 的 BigBang-v1 微调版本持怀疑态度，指出尽管有 Bartowski 的 GGUF 转换，其基准测试声明可疑且可能存在测试集污染。
Meta 超级智能实验室发布了 Muse Glimmer 30B 的 GGUF 量化格式，用于本地推理。该模型是一个蒸馏因果语言模型，配备感知编码器，可处理自主智能体任务、工具使用、多模态输入，并能在消费级硬件上实现故障恢复。
Kimi K3 (IQ2-XXS) 的精简版纯英文 GGUF 通过移除多语言组件，将模型大小从 711GB 降至 478GB，早期测试表明它在编码任务上可能达到或超过标准 2-bit 版本。
一位用户分享了他们在 RTX 5090 上运行 Qwen 3.6 27B 的 llama.cpp 服务器配置，达到了 80-100 t/s 的速度，并向社区询问其他设置和技巧。
一个讨论性问题，询问在固定内存预算下 LLM 量化的理论最佳位宽，并引用了 2025-2026 年关于 3-bit/2-bit 结果和缩放定律的研究。
关于使用多种 GGUF 和 KV 缓存量化方式对 LiquidAI 的 LFM2.5-2.6B 模型进行量化的详细报告，显示该模型可适配 8GB 树莓派且性能下降极小，但提醒不要使用 Q4_K_M。
Unsloth 发布了 Kimi K3 的新 GGUF 量化版本，大小从 466GB 到 649GB 不等，使大型模型能够高效部署。
NVIDIA 的完整语音技术栈——ASR、TTS 和编解码器——现已量化为 GGUF，并通过 NeMo-Speech.cpp 在设备端本地运行，同时发布了 Magpie-TTS、Nemotron Speech Streaming 和 Parakeet 的新模型。
有用户报告，对于 Gemma 4 31b，将 f16 MTP 草稿模型量化到 Q4_K（而不是默认的 Q4_0）在双 3090 上解码速度大约提升 10%（从 65 TPS 到 72 TPS），而 Q2_K 表现更差。
介绍 Iris Ai，一个在消费级硬件上将查询路由至8个专用LLM的系统，通过每次仅激活一个模型和动态模型交换，以低内存实现大模型性能。
Unsloth AI 宣布推出 DSpark，使 DeepSeek-V4-Flash GGUF 模型在本地运行速度提升约 1.4–2 倍，达到 120 tokens/s，且准确率无变化。
一位开发者报告称，使用 Unsloth 的 GGUF 模型时，Gemma 4 的多模态功能在较新的 llama.cpp 构建中被破坏，原因是不兼容的 mmproj 文件。切换到 ggml-org 的官方模型后问题立即解决，这凸显了第三方量化器与 llama.cpp 更新之间反复出现的兼容性问题。
详细测试和调优，以在RTX 3090上优化GGUF格式的DeepSeek-V4-Flash-0731，通过不同的量化和加载参数，在128K上下文下达到约15 tok/s。
HuggingModels 宣布发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V7-GGUF，这是 Qwen 模型的微调和量化版本。
jabbatheduck 发布了 REAP 专家剪枝后的 DeepSeek-V4-Flash 检查点的 GGUF 量化版本，为消费级 GPU 上的内存受限推理进行了大幅压缩，同时保留了路由器和注意力的精度。
Ferrox 是一个纯 Rust 推理引擎，可加载 GGUF 模型，并在 CPU、Metal 或 CUDA 上运行本地 LLM，提供 CLI 和兼容 OpenAI 的服务器。它的目标是在不使用任何绑定、从零编写的情况下，达到与 llama.cpp 相当的性能。
Qwen3-TTS 语音克隆已合并到 llama.cpp 主线，通过 llama-tts 二进制文件，利用短参考音频即可在本地实现文本转语音和语音克隆，支持多种语言。目前仍有限制，包括仅支持 Base 模型，且尚无服务器端点。
一个社区构建将 DeepSeek-V4-Flash 压缩为 54GB 的 IQ2_XXS GGUF 变体，采用激进的 2 位量化，在本地硬件上实现了约 20.5 tokens/s 的速度，同时大幅降低了显存/内存占用。