标签
本文对比了 Bonsai 2 27B、Gemma 4 12B 和 Qwen 3.5 9B 模型在使用 RTX 5090 生成日式体素宝塔时的性能，结论是 Bonsai 在内存占用方面提供了更优的智能和细节，对本地 AI 社区有益。
用户已将GitHub仓库重命名为HyperQwen，以专注于优化本地硬件上的Qwen模型推理速度，并正在寻找使用4090和5090 GPU的测试人员，同时支持Windows和Linux。
用户在Qwen3.8 27B模型上测试了DFlash2，报告称代码生成时的推理速度有所提升，但与MTP相比内存使用量增加。
报告了在 PrismaQuant 上使用 Oculink 对 RTX Pro 4500 GPU 进行 INT4 Autoround 和 NVFP4 W4A4 量化模型的测试。
使用 VLLM 对 Qwen 3.6 27B 在 BF16、FP8 和 NVFP4 三种量化方式下的详细基准测试显示：NVFP4 在 token 生成方面最快，但 FP8 在提示处理方面表现最佳。本文还提供了针对编码任务选择合适量化的实用建议。