exl3

yeasah 制作的新版 Qwen3.8-27B EXL3 量化模型在同类竞品中实现了最低的 KLD（0.0002），同时模型权重仅需占用 18.8 GiB 显存，表现优于 Unsloth 和 turboderp 的量化版本。

作者分享使用 DeepSeek V4.1 Flash（EXL3 2.9 bpw，2x DGX Spark，TP2）作为实现代理、配合独立审查代理开发真实功能的实践经验，指出其报告有时会超出实际证据。

Qwen3.8-Flash-Next 以 1.66bpw EXL3 量化版本发布，可完全装入一张 36GB 的 RTX 5090 中，无需卸载专家模块，实现 200-300 t/s 的稳定推理，且不会陷入思考循环。

一位用户分享并征求反馈：在单张 Radeon RX 9700（gfx12）上以 EXL3 5.05bpw 运行 Qwen3.8-Flash-Next，采用 GPU/CPU 混合专家卸载，报告在 230k 上下文下 prefill 约 863 t/s、decode 约 35 t/s。

由社区制作的 GLM-5.3-UNCENSORED（基于 Z.ai 的 GLM-5.3、参数量为 753B 的 MoE 权重编辑版本）EXL3 量化模型，3.0 bpw，占用 273 GiB，附带保真度基准测试、tau2-bench 智能体评测，以及包含 MTP 投机草稿模式的 TabbyAPI 服务配置。

两套社区推理栈在同一对 NVIDIA DGX Spark 上运行 320B GLM-5.3-Flash 的对比测试，比较 Entrpi 的 EXL3 方案与使用 DFlash2 草稿模型的 TensorFold 在文本、代码及预填充负载下的表现。

ninfer-ext 是 NInfer 的扩展分支，新增了对更大 Qwen 模型的支持、更快的推测式解码、Agent 服务功能，以及针对 Qwen3.8-27B 在 NVIDIA RTX 5090 上的 EXL3 量化支持。

DeepSeek-V4.1-Flash 已量化至 4.75 bpw EXL3，以便部署在 4× DGX Spark 上，优化内存使用并实现高效本地推理，同时有计划进行验证和进一步优化。

用户 @ViC305 成功在单个 DGX Spark 上运行 DeepSeek-V4-Flash-Vision，结合 EXL3 MixedK 和 DSpark 推测解码，提升了性能并解决了多模态 AI 部署的技术问题。

作者分享了在12GB显存GPU上运行使用EXL3量化的30B参数模型的经验，实现了编码和代理任务的高效性能和速度。

用户询问EXL3量化技术相较于NFP4在AI模型中是否取得进展，需要一个结论。

这篇文章重点介绍了 GLM-5.3-Flash EXL3-3.0bpw AI 模型，其推理速度达到每秒193.8个令牌，归功于多位贡献者。

一款新工具支持在Apple Silicon Mac上转换和运行EXL3量化模型，转换质量与RTX相当或几乎持平，让高质量量化更易获取。