@danielhanchen: 我们还发布了可在8GB内存上运行的1位 Qwen3.8-27B 量化版本。它们相比BF16保留了约77%的准确率。我们原本…
摘要
Unsloth AI 发布了可在8GB内存上运行的 Qwen3.8-27B AI模型的1位量化版本，相比BF16精度保留了约77%的准确率。
查看缓存全文
缓存时间: 2026/08/20 00:48
我们还推出了1位量化版Qwen3.8-27B模型，可在8GB内存设备上运行。
与BF16精度相比，其性能保留了约77%的准确率。
最初我们本不打算公开发布，但在内部测试中发现其表现异常出色，令我们深感惊讶！
Unsloth AI (@UnslothAI): 我们推出采用全新动态V3技术的Qwen3.8-27B GGUF量化模型，在Div-300、KLD等基准测试中精度提升超10%。
同时发布可保留77%精度的1位量化版本，仅需8GB内存即可运行。
博客：https://t.co/tHsBexyh2K GGUF文件：
相似文章
@UnslothAI：Qwen3.8 现在可以在本地运行了！我们通过 Dynamic 1-bit 选择性量化层，将 Qwen3.8-2.4T-A95B 从 4.9TB 缩小到 397GB（-91% 体积）……
Unsloth 宣布 Qwen3.8 现在可以在本地运行，通过 Dynamic 1-bit 量化将 2.4T 参数模型从 4.9TB 缩小到 397GB，并提供了指南和 GGUF 版本。
我的Qwen3.8-27B任务感知量化在15%的体积下达到了BF16推理性能的99%。
一种名为TAK的新任务感知量化方法，在显著减小模型尺寸的情况下，实现了接近BF16的推理性能，在多种AI模型上超越了Unsloth。
@sudoingX: 这个实验室将 Qwen 3.6 27B（这个我整个月都称之为 24GB 层级霸主的模型）压缩到了 3.9GB。……
PrismML 宣布推出 Bonsai 27B，这是 Qwen3.6 27B 的二值量化版本，可在手机上运行，每个权重仅使用 1.125 比特，声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。
@UnslothAI：Qwen3.8-27B 即将发布！可在 17GB RAM/VRAM 配置上本地运行。
阿里巴巴宣布 Qwen3.8-27B 开源权重版本发布，可在 17GB RAM/VRAM 上本地运行，同时还有更大的 Qwen3.8-Max。
我在有限显存（16-20GB）上对 Qwen 3.8 27B 的测试
本文测试了在有限显存环境下各种量化版本的 Qwen 3.8 27B AI 模型，比较了它们在动画生成、应用开发和单词生成等任务上的表现。