@no_stp_on_snek：好了朋友们，你们懂的.. 结论前置：NVIDIA 的 4 位 Qwen3.6-27B (NVFP4) 近乎无损。在我自己的保留测试中…

好了各位，老规矩……先把结论放前面：

NVIDIA 的 4-bit Qwen3.6-27B（NVFP4）近乎无损。在我自己设计的保留行为测试中，它与完整的 bf16 模型基本无法区分——这正是关键所在：四分之一的大小，却能提供完整尺寸模型的质量和特性。 （一个注意事项：在消费级 Blackwell 上，目前需要 NVIDIA 自己的运行时才能顺畅服务，但这是运行时 bug，不是模型的问题。）有意思的部分在于它的行为。

核心点：在权重层面，4-bit 解码的余弦相似度为 0.997，几乎无损。行为上，90 个场景中有 60 个打成平手，数学测试两边都是 8/8。所以，拿完整的 16-bit 模型和 4-bit 模型对比，目的就是为了看看能不能直接换用小的那个，而完全不损失任何东西。

结论是：完全可以！

你根本不需要 16-bit 模型来保证质量。这个压缩基本上等于免费。

差异只在难点上才会显现，比如信息污染和长周期代理任务。我是这样测试的：两个模型各自运行相同的多轮探针，然后一个盲审员（不知道哪个是量化版本）根据评分标准对每个模型打分三次，专门寻找特定的失败标记，比如捏造事实、遗漏信息、在压力下妥协等。

信息污染方面：在对话中途，我植入了一个虚假的论断（“我们决定用 Redis”），然后观察它是否会泄露到模型的最终总结中。两个模型都拒绝改写历史。4-bit 模型反而更干净，完整模型在同一轮测试中误判了一个错误，并从其报告中漏掉了两个真实的决策。

长周期方面：两个模型各出现了一次具体失误。在一次长时间编排任务的深处，有一个陷阱字段从未被实际填充过，4-bit 模型自信地宣称它“已捕获”，并凭空编造了一个不存在的源文件——这是纯粹的捏造。完整模型则发现了这个问题。但在另一个隐藏事实的回忆任务中，完整模型串联了三个失败层中的两个，但在最后一个步骤停下了；而 4-bit 模型成功完成了全部三层。两者缺失的方向相反，相互抵消。这正是噪声的指纹，而非能力退化。

人类感知上的微妙之处：4-bit 模型在盲测中“赢了”18 对 12，但这并不是因为它更聪明。它的回答大约简短了 6%，而评审员们悄悄偏爱那些更短、更果断的回答。我们都倾向于把简洁自信理解为有能力。它只是说得更少，却因此得到了奖励（也许需要为此做调整？）。这就像会议上，那个话不多却语气坚定的人，听起来比那个边想边说的人更干练。

规律：一个模型的特性、它的完整性、它拒绝被误导或撒谎的能力，存储成本很低，并且能经受住严苛的压缩。噪声会泄露的地方，是偶尔出现的长周期胡言乱语（没错，我用了这个词），而且这也不是系统性的，它两头都影响。深度依然保持。裂痕是随机的，而非结构性的。

感谢 @NVIDIAAI，好东西。 模型卡：

不确定。给我一些模型链接，我会考虑测试。

不，其实更好。