标签
本文比较了 Qwen3.6-27B 的三种量化变体（Unsloth 和 Nvidia 的 NVFP4，Intel 的 int4-AutoRound），并向社区请求基准测试和幻觉数据。
本文介绍Qwopus3.6-27B-Coder模型的校准2位GGUF量化版本，用于智能体编码任务。实验表明，IQ2_M量化（9.74 GiB）在SWE-rebench基准测试中达到63%的通过率，与Q5_K_M量化相当，但模型大小仅为其一半。
分析 DeepSeek V4 在编程排行榜上的高分与其声称的落后前沿8个月的差距，突出狭窄基准优化与更广泛推理测试之间的差异，以及运行量化本地版本时实际性能的损失。
一位用户分享了对Unsloth量化模型的偏好，原因包括发布速度快、困惑度低，并将其与Apex MoE量化模型进行比较，同时向社区询问他们最喜欢的量化发布者。
描述如何将笔记本电脑变成一台24/7全天候自主AI研究机器，使用 Qwen3-35B-A3B、llama.cpp 和 Unsloth 的4位量化，无需云或GPU服务器。
IBM 在 Apache 2.0 许可下发布了 Granite 4.1 系列 LLM，Simon Willison 尝试使用该 3B 模型的 21 种不同量化变体生成骑自行车的鹈鹕 SVG 图像。