女士们,先生们,我向大家介绍 Qwen3.8 27b 1位量化脑损伤版本
摘要
一位用户在8GB显存系统上测试了 unsloth 1位量化版本的 Qwen 3.8 27B AI模型,并发现结果很有趣。
我只是想测试一下 unsloth 1位量化版本的 qwen 3.8 27b,因为我只有8GB显存,坦白说,这让我笑了出来。
相似文章
Wow!Qwen 3.6:35b-a3b 在 3090 上……太惊人了。
一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果:将模型放入显存后,输出速度达到每秒 160 个 token,并以 75 秒的视频处理时间展示了视觉能力。
@sudoingX: 这个实验室将 Qwen 3.6 27B(这个我整个月都称之为 24GB 层级霸主的模型)压缩到了 3.9GB。……
PrismML 宣布推出 Bonsai 27B,这是 Qwen3.6 27B 的二值量化版本,可在手机上运行,每个权重仅使用 1.125 比特,声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。
@danielhanchen: 我们还发布了可在8GB内存上运行的1位 Qwen3.8-27B 量化版本。它们相比BF16保留了约77%的准确率。我们原本…
Unsloth AI 发布了可在8GB内存上运行的 Qwen3.8-27B AI模型的1位量化版本,相比BF16精度保留了约77%的准确率。
Qwen3.8-27B 混合 IQ4_XS 量化版本,适用于16GB RAM
这是一个使用 IQ4_XS 量化的 Qwen3.8-27B AI模型的量化版本,针对16GB RAM系统进行了优化,并提供使用各种工具如 llama.cpp 和 Ollama 的本地部署指南。
Qwen/Qwen3.6-27B-FP8
阿里巴巴发布 Qwen3.6-27B-FP8,一款 27B 参数的 FP8 量化模型,在代理式编码与推理基准上表现强劲,现已上架 Hugging Face。