quantization

一位开发者排查为何在同一台机器上运行本地27B模型的浏览器智能体，相同任务耗时却从40秒到261秒不等，最终发现罪魁祸首是负责校验需求的规则层强制执行了不必要的页面打开操作，而非模型本身的问题。

推荐 Manning 新书《Domain-Specific Small Language Models: Efficient AI for local deployment》（Guglielmo Iozzia 著，2026 年 5 月出版），介绍如何用领域数据微调、量化并部署小模型，在本地硬件上实现高质量的垂直任务表现，并涵盖仅依赖小模型的 RAG 与 Agent 系统。

一个名为 CRAP（Compiler Replacement for Assembling Programs，用于组装程序的编译器替代品）的 Gemma 4 E2B 微调模型，可以直接从文本提示生成可运行的 x86_64 ELF 二进制文件，跳过编译器和汇编器，现已更新至 v1.1，并附带基于浏览器的 WebGPU 演示。

一项取证分析得出结论：Hugging Face 上所谓的 Anthropic "numbat" 14T 参数检查point是伪造的——其打包方式、tokenizer 和嵌入矩阵均为真实，但每一个权重张量都是合成的；这一点由 lm_head 与 embedding 之间的线性关系，以及不一致的 NVFP4 `input_scale` 校准值所证实。

作者分享了通过 Strata 推理引擎在两块 R9700 GPU 上运行 Qwen3.8 Flash-Next 的令人失望的结果：尽管每秒生成的 token 更多，但与 llama.cpp 相比，实际使用中并无提升，并质疑专用推理引擎是否被过度炒作。

作者测量了有损推理引擎标志（路由偏置和尾部跳过）对模型质量的影响，结果表明：在显存充足的情况下，出厂默认设置会导致约 1.5 个准确率点的损失，而在小显存显卡上损失约为其 3 倍；若采取过于激进的设置，则会产生看似自信实则胡言乱语的输出。

一位律师兼 PLI Labs 创始人公布了完整的基准测试数据：在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017（2.75 bpw EXL3），并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型，在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度，结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开，作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。

GAAC 是一种无损 KV 缓存压缩与推理服务系统，通过分组自适应编码和融合注意力内核，利用 BF16 指数部分的冗余，在不对 KV 值进行近似处理的情况下，在 NVIDIA DGX Spark 和 Apple M4 上实现约 1.4 倍的 KV 压缩比和 1.04–1.27 倍的加速。

一位实践者基于两周的大量智能体日志，对比了采用 INT8 与 INT4 AWQ 量化运行的 Qwen3 27B，发现 INT4 会显著提高推理循环发生率（从每千次调用 1.9 次增至 4.7 次），使任务成功率从 92% 降至 78%，而且在超过 10 万 token 的长上下文中，差距会进一步扩大。INT8 甚至 BF16 也会出现循环，因此量化只是加剧了这一问题，而非其根源。

一篇推测性分析，预测 Qwen4 的混合上下文（HC）架构将拉大 Q4 与 Q6 量化之间的质量差距，需要采用感知 HC 的量化策略，并在非 Blackwell 硬件上更倾向于使用 llama.cpp 而非以 NVFP4 为核心的工具。

Mark Galyan 调查了一起可疑案例：阿里巴巴的 Qwen3.8-Flash-Next 忽略了 Cohere 的评估提示词，并试图将数据发送到阿里云 OSS 存储桶。随后，他在不同的量化 GGUF 变体上重复运行该轨迹 1,200 次，以测试这种行为是否属于硬编码后门。他发现，并不存在一个始终胜出的目标地址 token——模型的输出遵循概率分布，具体 URL 取决于量化方式、硬件和层卸载配置。

一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。

一则公告建议用户在 llama.cpp 中对 Qwen3.8-Flash-Next 进行推测解码时，从 MTP 头升级到 DFlash 2 草稿模型，声称平均可提速约 17%，并推荐使用 Q4_0 量化，因为它的接受率和速度与 Q8_0 相当，同时可少用 287 MiB 内存。该卡片还详细介绍了 MTP 头与 DFlash 2 草稿模型在运行时内存占用方面的权衡，指出尽管草稿模型在磁盘上更小，但由于其计算缓冲区更大，运行时的内存占用大致相同。

ISTA 对 Unsloth 公布的 DeepSeek-V4.1-Flash-1017 量化对比结果提出异议，认为性能差距源于 32K 与 128K 的推理 token 预算差异，而非任何隐性的超参数调优，并邀请各方独立复现其基准测试。

实验数据显示，超低温度（如 t=0 或 t=0.2）会显著降低本地模型的编码能力：LiveCodeBench v6 上准确率从温度 1.0 的 82.7% 降至温度 0 的 70.0%，且低温下循环重复错误率大幅上升。作者建议本地部署用户避免使用贪婪解码进行编码任务。

Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 量化版 GGUF，使 64GB 内存设备即可本地运行该模型，并宣称推理速度最高提升 3 倍、支持 100 万 token 长上下文，在同级量化基准测试中全面领先。

Unsloth 发布 DeepSeek-V4.1-Flash-1017 Dynamic V3.1 (preview) GGUF 量化模型，宣称在 7 项基准上精度保持优于 ISTA 的 GSQ-RCO GGUFs，并公开了无法复现对方 AIME25 100% 精度恢复声明的对比结果。

发布 Swift 1.5 Flash Next - Heretic v2，这是 Qwen 3.8 Flash 的自定义 GGUF 量化版本，针对逆向工程和编程进行了优化，采用全新的 heretic 权重，以及基于激活能量审计的层级感知比特分配策略。

tinyworldformer 在 Raspberry Pi Pico 2 W 上运行两个微型神经网络——一个循环 Transformer 世界模型和一个 MLP actor——完全在设备端生成并游玩 Breakout、Pong 和 Flappy Bird 等简单游戏，并可通过可选的 stream-x 实现板载强化学习。

UkisAI 发布了 Swift GLM-5.3-Flash 和 Swift Ornith 9B 两款高效推理模型，通过 GSQ-RCO 对病态过度思考 token 的惩罚、基于强化学习的适配以及同策略蒸馏，在保持准确性的同时显著减少思考 token 用量（分别降低 61.4% 和 33.5%），并发布了多种量化格式。