quantization

用户分享了用 Strata 替换 llama.cpp 运行 Qwen 3.8 Flash Next 的体验，解码速度从 70–80 tk/s 提升至 150 tk/s，并顺带测试了 DeepSeek v4.1flash 的 2.25 位量化版本在多 GPU 上的表现。

作者对比了通过 Z.ai 云订阅与本地部署的 GLM 5.3 Flash 在相同任务上的表现，本地推理在输出几乎相同的情况下快了 4.2 倍，指出本地 AI 除省钱外的最大价值是节省时间、提升代码产出效率。

Strata 最新更新显著提升了 AMD R9700 用户在 Flash Next 中的推理性能，token 输出大致翻倍，从约 70 tok/s 提升到 140-160 tok/s，但仍落后于 Radiance。用户提到量化限制（Q5 差一点点显存不足以启用 split-engine 模式），并希望未来的更新能进一步缩小差距。

LiquidAI 的 LFM3-1.7B 量化报告显示，该模型可在 3.6 GB 显存中无损运行（2.2 GB 时仅有轻微性能下降），在 LiquidAI 基准测试中超越 MiniCPM5-2B，同时以一半的内存提供 2 倍的上下文长度。

一项分析指出，在更新后的图表中，DeepSeek-V4.1-Flash-1017 的全部四种 Unsloth 量化版本以及 Q8 基线在 LiveCodeBench v6 上的得分同时提高了 2–3 分。在独立采样模型下，这种变化在统计上发生的可能性很低，而 GSQ-RCO 的结果则表现不一致。

一篇社区帖子讨论了 ISTA 的 GSQ-RCO 量化方法与 Unsloth 之间的竞争，指出两支团队的竞争让用户受益，获得更好的量化模型，同时质疑 ISTA 为何不公布其量化模型的 KLD 指标。

Manning Books 正在免费提供电子书《Local AI and Small Language Models》，内容涵盖小型语言模型、使用 GGUF 和 llama.cpp 进行 CPU 推理、量化技术、LoRA/DoRA 特化微调，以及利用 Ollama 的 Python 库构建私有本地 AI 应用等章节。

FLAMIA 提出了一族面向 NVIDIA Blackwell GPU 的混合精度注意力内核，利用 MXFP8 与 NVFP4/FP8 路径，在避免因果信息泄漏的同时加速 Transformer 训练，在 B200/B300 上实现约 1.06–1.42 倍的前向与反向注意力加速。

Unsloth 公布了其 DeepSeek Dynamic V3.1 GGUF 量化版本的基准测试结果，声称在 512K 上下文长度下，其在 Terminal Bench 和 DeepSWE 等智能体基准测试中的表现比 GSQ-RCO 提升了逾 10–20%，并从统计学角度质疑了 GSQ-RCO 关于量化后性能恢复的说法。

AtomicChat 发布了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO GGUF 量化版本，通过从稠密残差写入模块中投影移除拒绝方向，使一个 7630 亿参数的 MoE 模型能够借助 Strata 在单张 12 GB 显存的 GPU 上运行，且 MMLU 性能下降极小。

MiniMax 感谢社区开发者在 10 天内将 M3.1 Flash 开放权重的体积从 252.4 GB 缩减至最低 93 GB，涵盖 GGUF、EXL3 和 MXFP4 等格式的量化版本在消费级和数据中心硬件上均展现出出色的准确率和吞吐量。

ISTA DASLab 发布了 DeepSeek-V4.1-Flash-1017 的 Coder 版本，这是一个 763B 稀疏 MoE 模型，通过 GSQ 量化和基于 RCO 的专家剪枝（384 个专家中保留 192 个）压缩到每个 transformer 参数约 1 bit，在 72.1 GB 的 GGUF 中保留了 LiveCodeBench v6 98.7% 和 SWE-bench Verified 94.8% 的性能。

一位爱好者基准测试将本地运行的量化模型（Qwen3.8-Flash-Next、Qwen3.8-27B、Gemma 4）与 Claude 系列模型放在 9 个真实的 C++/CUDA 修 bug 任务上对比，发现 3-bit 量化对得分影响很小但会让模型思考更久；本地 Flash-Next 的表现大致与 Claude Haiku 5.5 持平，而 Opus 5.5 整体领先。

r/LocalLLaMA 社区的一项提议，呼吁成员不要再执着于 tok/s（每秒生成的 token 数）这类速度指标，而应创建私有的质量基准测试，尤其用于评估模型在不同量化级别下的质量，并相互分享测试结果。

作者用 RTX 5090、4090 和双卡 V100 实测 DeepSeek-V4.1-Flash-1017、Qwen-3.8-Flash-Next、Qwen-3.8-27b 三款本地开源模型，通过 Core-300 盲测与 200K+ 长文本压测对比其与 GPT-5.5、Opus-4.8 等云端模型的实际体感差距。

该论文研究了三种校准方法——HiGPTQ、HiAutoRound 和 HiFlatQuant——用于采用 HiFloat4 块浮点格式对大语言模型进行量化，将与 BF16 的精度差距缩小至 1% 以下，并在不同模型和任务上优于 NVFP4。

该论文研究随机舍入如何影响低精度训练中的预测风险，针对两层线性网络推导了匹配的上下界，并给出了随计算量、模型规模、训练时长与精度变化的缩放定律，揭示前向与后向舍入对最优计算缩放的不同影响。

一篇学术论文提出了一种相关私有量化方法，用于车联网中通信高效、满足局部差分隐私的联邦强化学习，并结合后量子认证；论文报告称，与独立量化相比，经认证的上行传输数据量减少了92.4%，平均行程时间降低了14.3%。

面向 12 GB Ampere 显卡的 Qwen 27B 模型更新版 2.3bpw 量化检查点，在 LiveCodeBench 上与 Qwen3.6 BF16 表现持平（84.3% 对 83.9%），并通过使用 llamAmpere 中全新的 AmperInteger+ 量化格式，将 KLD 误差较上一版本降低了约 40%。

一位用户分享了一份详细的搭建指南，介绍如何在较旧的消费级硬件（RTX 3090 Ti、128GB 内存、Threadripper 3990X）上运行 DeepSeek-V4.1-Flash-1017（约 35 tok/s）和 Qwen3.8-Flash-Next（约 130-140 tok/s），内容涵盖通过开源内核模块解锁 NVIDIA 固件降频限制，以及构建 Xolotl 推理引擎。