@sudoingX: 那些用16GB显卡的，别再滑了。@pupposandro 和 @davideciffa 把 qwen 35b-a3b 压缩到13.3GB，在……上实测

那些用16GB显卡的，别再滑了。@pupposandro 和 @davideciffa 把 qwen 35b-a3b 模型压缩到13.3GB，在3090 GPU上实测。这意味着之前根本无法加载的模型，现在可以运行了，速度约100 tok/s，接近所有专家都驻留在24GB显卡上的表现。 巧妙之处在于，很多人对 MoE 的理解是错误的。它每 token 只激活约 3B 的 35B 参数，路由到 256 个专家中的大约 8 个，但你仍然需要占用全部显存来保留所有专家，以防下一个 token 用到。 luce spark 会学习你的流量实际命中了哪些专家，将这些热专家固定在显存中，而将剩余专家从内存流式加载，隐藏在矩阵乘法运算下，因此不会有速度断崖。只需一个标志，每次重启它就会自动调优变得更热。 这类工作默默地让整个本地推理层级降低了一个显卡档次。别让它滑过去。