gguf

Unsloth 公布了其 DeepSeek Dynamic V3.1 GGUF 量化版本的基准测试结果，声称在 512K 上下文长度下，其在 Terminal Bench 和 DeepSWE 等智能体基准测试中的表现比 GSQ-RCO 提升了逾 10–20%，并从统计学角度质疑了 GSQ-RCO 关于量化后性能恢复的说法。

AtomicChat 发布了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO GGUF 量化版本，通过从稠密残差写入模块中投影移除拒绝方向，使一个 7630 亿参数的 MoE 模型能够借助 Strata 在单张 12 GB 显存的 GPU 上运行，且 MMLU 性能下降极小。

ISTA DASLab 发布了 DeepSeek-V4.1-Flash-1017 的 Coder 版本，这是一个 763B 稀疏 MoE 模型，通过 GSQ 量化和基于 RCO 的专家剪枝（384 个专家中保留 192 个）压缩到每个 transformer 参数约 1 bit，在 72.1 GB 的 GGUF 中保留了 LiveCodeBench v6 98.7% 和 SWE-bench Verified 94.8% 的性能。

一个名为 CRAP（Compiler Replacement for Assembling Programs，用于组装程序的编译器替代品）的 Gemma 4 E2B 微调模型，可以直接从文本提示生成可运行的 x86_64 ELF 二进制文件，跳过编译器和汇编器，现已更新至 v1.1，并附带基于浏览器的 WebGPU 演示。

作者测试了 Liquid AI 的 LFM3-1.7B 模型（Q8_0 GGUF 格式，通过 llama.cpp/ROCm 运行），用于压缩和摘要任务。测试结果显示在 Strix Halo 以及 7900 XTX+XT 张量拆分配置上具有出色的预填充/解码吞吐量，并且作为一个 1.7B 模型，在 32k-64k 上下文长度下表现出乎意料的连贯性。

一场讨论，探讨大语言模型倾向于反复质疑已经过推理得出的结论，究竟是模型的固有特性，还是激进量化（例如 IQ2-XXS 与 Q4_K_M）造成的现象，以及这种倾向是否会在 BF16 GGUF 模型上消失。

ik_llama.cpp 现已全面支持 PrismML 的 Ternary Bonsai 2，具备原生 CUDA 卸载、无损权重重打包，以及通过 -rtr 1 实现的快速 CPU 提示词处理功能，消除了此前的符号张量瓶颈。该帖子提供了一份配置指南，涵盖 PQ2_0 转换和推荐的命令行参数。

一则公告建议用户在 llama.cpp 中对 Qwen3.8-Flash-Next 进行推测解码时，从 MTP 头升级到 DFlash 2 草稿模型，声称平均可提速约 17%，并推荐使用 Q4_0 量化，因为它的接受率和速度与 Q8_0 相当，同时可少用 287 MiB 内存。该卡片还详细介绍了 MTP 头与 DFlash 2 草稿模型在运行时内存占用方面的权衡，指出尽管草稿模型在磁盘上更小，但由于其计算缓冲区更大，运行时的内存占用大致相同。

Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 量化版 GGUF，使 64GB 内存设备即可本地运行该模型，并宣称推理速度最高提升 3 倍、支持 100 万 token 长上下文，在同级量化基准测试中全面领先。

Unsloth 发布 DeepSeek-V4.1-Flash-1017 Dynamic V3.1 (preview) GGUF 量化模型，宣称在 7 项基准上精度保持优于 ISTA 的 GSQ-RCO GGUFs，并公开了无法复现对方 AIME25 100% 精度恢复声明的对比结果。

发布 Swift 1.5 Flash Next - Heretic v2，这是 Qwen 3.8 Flash 的自定义 GGUF 量化版本，针对逆向工程和编程进行了优化，采用全新的 heretic 权重，以及基于激活能量审计的层级感知比特分配策略。

OpenBonsai 是一个 Apache-2.0 许可的后训练三值量化框架，可将 BF16 模型和微调压缩为约 2 GB 的三值 GGUF 文件，兼容 Prism 的 PTQ1_0 格式，并通过 Qwen3.5-9B（18 GB → 2 GB）验证了效果。

Liquid AI 发布 LFM3-Omni-2B 的 GGUF 版本，支持在 CPU/GPU 上本地推理。该模型可理解文本、图像、视频和音频，并以文本和语音输出，专为设备端使用打造。

kaitchup 发布了 Qwen3.8-27B 的统计无损 SLQ 量化 GGUF 版本，提供三种精度目标变体（EAR98、EAR98.5、EAR99），通过在 498 个矩阵上混合供体量化权重构建而成。

AtomicChat 发布了基于 LiquidAI/LFM3-1.7B 的安全消融版 GGUF 模型，通过投影秩-1 LoRA 移除了对有害提示的拒答（从 61.7% 降至 0%），同时在 MMLU 上无精度损失，并提供 AD-Q6_K 和 AD-Q4_K_M 量化版本。

CCORE 发布了基于 Qwen3.5-4B 的独立微调模型 Qwen3.5-4B-3D-Coder，专注于通用代码编写与高质量 Three.js 交互式 3D 场景生成，目前已提供 Q4_K_M 和 Q8_0 量化版本，完整 FP16 权重和训练数据集将在训练完成后公开。

研究审计了 Ollama 与 Hugging Face 上的量化 GGUF 文件，发现部分低比特量化模型因未校准的量化配方而功能失效，发布了 quantcheck 工具并建议在发布前进行筛查与校准。

Liquid AI 发布 LFM3-1.7B 的 GGUF 版本，支持在 CPU/GPU 上本地推理，兼容 llama.cpp、Ollama、LM Studio 等工具，并提供经过量化感知蒸馏（QAD）的 Q4_0 检查点，以恢复量化损失的精度。

Unsloth 发布 NVIDIA Nemotron 3.5 Bolt E4B 的 GGUF 量化版本（Q4_K_M），这是一个基于 Gemma-4-E4B-it 进一步后训练的小语言模型（SLM），专为低内存、低首字延迟的本地语音助手与嵌入式/边缘设备场景优化。

ISTA-DASLab 发布了 DeepSeek-V4.1-Flash-1017（763.2B MoE）的 GSQ-RCO 非均匀 GGUF 量化版本，每权重 1.75-2.25 比特，通过基于梯度的搜索为每个张量分配量化类型，使模型能够在单张 12GB GPU 上借助 llama.cpp 运行。