标签
用户在Qwen3.8 27B模型上测试了DFlash2，报告称代码生成时的推理速度有所提升，但与MTP相比内存使用量增加。
报告了在 PrismaQuant 上使用 Oculink 对 RTX Pro 4500 GPU 进行 INT4 Autoround 和 NVFP4 W4A4 量化模型的测试。
使用 VLLM 对 Qwen 3.6 27B 在 BF16、FP8 和 NVFP4 三种量化方式下的详细基准测试显示：NVFP4 在 token 生成方面最快，但 FP8 在提示处理方面表现最佳。本文还提供了针对编码任务选择合适量化的实用建议。