exl3

用户 @ViC305 成功在单个 DGX Spark 上运行 DeepSeek-V4-Flash-Vision，结合 EXL3 MixedK 和 DSpark 推测解码，提升了性能并解决了多模态 AI 部署的技术问题。

作者分享了在12GB显存GPU上运行使用EXL3量化的30B参数模型的经验，实现了编码和代理任务的高效性能和速度。

用户询问EXL3量化技术相较于NFP4在AI模型中是否取得进展，需要一个结论。

这篇文章重点介绍了 GLM-5.3-Flash EXL3-3.0bpw AI 模型，其推理速度达到每秒193.8个令牌，归功于多位贡献者。

一款新工具支持在Apple Silicon Mac上转换和运行EXL3量化模型，转换质量与RTX相当或几乎持平，让高质量量化更易获取。