quantization

Unsloth 发布了 Qwen-Image-2.1 的 GGUF 量化版本，使其能够在12GB VRAM 上本地运行，性能与 Nano Banana 2.0 相当。

作者利用自己的git历史记录构建了一个自定义基准测试框架，用于评估本地AI模型在代码任务中的表现。早期测试结果显示，Flash Next和Swift等模型的性能表现令人惊讶。

本研究评估了量化如何影响大型语言模型在临床基准上的准确性和安全性，发现INT8量化普遍安全，而INT4量化则带来模型和任务相关的风险。

PRQuant 是一种无需训练且低开销的框架，用于量化大型语言模型中的线性层，通过置换和残差补偿来减少推理延迟，同时在如MXFP4等基准上提升准确性。

新量化AI模型Sharp-Spark-X2.5-4B-GGUF发布，针对小GPU和有限内存优化代理编码能力，提升资源有限用户的本地编码体验。

扩展Splash引擎以在Apple Silicon上支持原生8位Qwen3.8-27B模型，实现37-55 tok/s速度且无量化质量损失，并支持最高256k上下文缩放。

Baseten出版的《Inference Engineering》是一本系统化的书籍，讲解从CUDA到生产部署的AI推理优化技术，帮助工程师在生产环境中高效运行开源模型。

Qwen-Image-2.1模型的GGUF量化版本，用于使用ComfyUI进行本地图像生成，包含推荐的量化方式和部署设置说明。

本文测试了在有限显存环境下各种量化版本的 Qwen 3.8 27B AI 模型，比较了它们在动画生成、应用开发和单词生成等任务上的表现。

作者发现，在3张3090显卡上使用Exllama3以3.05 bpw运行Qwen 3.8 Next Flash，能为本地LLM使用提供卓越的性能和质量，优于其他量化方法。

作者批评在推理引擎中使用FP4量化的趋势，认为它严重降低模型质量并导致幻觉，尤其是对于小型密集模型。

文章探讨了更小的量化模型是否正在成为本地AI应用的首选，强调了它们在VRAM使用、性能和功能（如工具调用）之间的平衡。

作者在有限的显存下比较了 Qwen3.8 27B IQ3_XXS 和 Bonsai Ternary PQ2 的性能，发现 Qwen 更快且使用的 token 更少，而 Bonsai 文件更小但生成时间更长。

作者优化了 Qwen3.8-Flash-Next 模型，使其能在 64GB Mac 上运行，使用专家流式处理和其他技术，通过发布检查点和 llama.cpp 叉版本达到约 27 tok/s 的速度。

本文对比了 Bonsai 2 27B、Gemma 4 12B 和 Qwen 3.5 9B 模型在使用 RTX 5090 生成日式体素宝塔时的性能，结论是 Bonsai 在内存占用方面提供了更优的智能和细节，对本地 AI 社区有益。

Prism-LM 的基于 Qwen3.8 的 Bonsai 2 QAT 模型已被评估并加入比较研究，在综合基准测试中达到约 91.5%，并为模型权衡提供了可靠的参考。

Jovan 来自 UkisAI，讨论了他们 Swift Qwen3.8 27B 模型的改进，并寻求社区反馈以创建 Bonsai 2 的 Swift 版本，以解决过度思考循环和高令牌使用问题。

ByteShape 发布了完整的 ShapeLearn 量化版 Qwen 3.8 27B 模型，采用 GGUF 格式，基准测试显示质量-速度前沿有所改进，并支持投机解码。

一名用户正在使用 NVIDIA 5070 Ti GPU 测试新发布的 Ternary Bonsai 2 27B AI 模型，这是 Qwen3.8 27B 的更小且量化版本，并对其性能感到印象深刻。

远程开发已为Atlas LLM推理引擎添加了AMD R9700（RDNA 4）支持，使其能够在硬件上运行像Qwen3.8-27B和Ornith-9B这样的模型。