@no_stp_on_snek: 相当不错。我自己跑了一些测试。在我看来这是个挺不错的模型。
摘要
NVIDIA 的 4 位量化 Qwen3.6-27B 模型（NVFP4）据称接近无损，在四分之一大小下保持了全尺寸质量。
查看缓存全文
缓存时间: 2026/07/02 18:27
@Raitziger 相当不错。我自己也跑了一些测试。我觉得这是个挺不错的模型：https://t.co/Fqg63UQzkK
Tom Turney (@no_stp_on_snek): 好了各位，老规矩.. 先给结论：
NVIDIA 的 4-bit Qwen3.6-27B (NVFP4) 几乎是无损的。在我自己持有的行为测试集上，它基本上与完整的 bf16 模型无法区分，而这正是关键所在：四分之一的大小，却拥有全尺寸的质量和特质。
相似文章
@no_stp_on_snek：好了朋友们，你们懂的.. 结论前置：NVIDIA 的 4 位 Qwen3.6-27B (NVFP4) 近乎无损。在我自己的保留测试中…
NVIDIA 的 4 位量化版 Qwen3.6-27B (NVFP4) 相较于完整的 bf16 模型被发现近乎无损，行为差异微小且随机而非系统性，使其成为实用的即插即用替代品。
@no_stp_on_snek: 所以我想测试一下Nvidia的TwoTowers，但它有点大，于是我对其进行了量化。但速度非常慢。看起来像是…
NVIDIA TwoTower块扩散语言模型（Nemotron-Labs-TwoTower-30B-A3B-Base）的4位量化，将两个塔压缩至约38 GB，使得在单GPU上推理速度缓慢（约2-4 tok/s）。
@Ex0byt：激活、切片、拼接、微调数日，外加15小时屏息凝神的NVFP4校准/传播轮次……
社区成员发布了Qwen3.6-35B-A3B-PRISM-NVFP4——一款经过多轮、数据集校准、零损耗的NVFP4量化版Qwen模型。
@rasbt: 疯狂模型！它实际上使用了旧的Qwen2.5-Coder-3B栈，并通过后训练取得了非常出色的性能……
一个使用Qwen2.5-Coder-3B栈的3B参数模型，在编程基准测试中取得了与Claude Opus 4.5相媲美的分数，采用了详细的后训练技术，包括合成数据、过滤、两阶段SFT，以及一种新颖的RL方法（MGPO）。
@MiaAI_lab: 仅供参考，运行的最佳Qwen 3.6 35b nvfp4是@NVIDIAAI的nvfp4。不要使用unsloth nvfp4，其性能较差。https://hug…
推荐使用NVIDIA的nvfp4量化版Qwen 3.6 35B，而非Unsloth版本，其性能更优。该模型可在HuggingFace上获取，用于AI应用。