可能是 Qwen3.8 27B 最高质量的主线量化版本?

Reddit r/LocalLLaMA 模型

摘要

发布了 Qwen 3.8 27B AI 模型的高质量量化版本,声称在质量测试中超越了 ISTA 和 Unsloth 量化版本。

我自豪地发布 Qwen 3.8 27B 的这些量化版本。它们在三个语料库上逐字节击败了优秀的 ISTA 和 Unsloth 量化版本。KLD 和 top 1% 均被测试了 3 次。生成这些版本花费了一周连续的 GPU 和 CPU 时间,全部在一台 Strix Halo 上完成。https://huggingface.co/agentionai/Qwen3.8-27B-AP-GGUF 希望您喜欢。
查看原文

相似文章

Qwen 3.8 27b 即使在 Q3_xxs 下也很强大

Reddit r/LocalLLaMA

用户发现 Qwen 3.8 27b 在 Q3 量化下对编码任务非常高效,推理速度快,超越了之前的模型,尽管在日常对话中存在一些小问题。