ai-model-quantization

标签

#ai-model-quantization

这效果如何？ 262k Qwen3.8:27B-Q4_K_M

Reddit r/LocalLLaMA ↗ · 2026-09-19

用户已在异构 GPU 环境中为 Qwen3.8 模型实现了 nvfp4 KV 缓存支持，使用自定义 CUDA 内核和量化来优化性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈