@TheAhmadOsman: 一直在玩@PrismML的新模型,该模型将Qwen 3.5 27B变成了子4GB和子6GB的权重,令我印象深刻 C…
摘要
PrismML发布了一个压缩版的Qwen 3.5 27B,可以装入子4GB和子6GB内存中,实现了令人印象深刻的本地AI性能。
查看缓存全文
缓存时间: 2026/07/16 04:03
一直在玩 @PrismML 的新模型,把 Qwen 3.5 27B 的权重压到了 4GB 以下和 6GB 以下,让我印象深刻。
不敢相信自从圣诞节(约8个月前)以来,开源和本地 AI 已经进步了这么多。
相似文章
@sudoingX: 这个实验室将 Qwen 3.6 27B(这个我整个月都称之为 24GB 层级霸主的模型)压缩到了 3.9GB。……
PrismML 宣布推出 Bonsai 27B,这是 Qwen3.6 27B 的二值量化版本,可在手机上运行,每个权重仅使用 1.125 比特,声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。
PrismML 推出 Qwen-3.6-27B 压缩版 - Khosla 支持的初创公司声称在 iPhone 上运行有史以来最大 AI 模型取得突破
Khosla 支持的初创公司 PrismML 发布了 Qwen-3.6-27B 的压缩版本,声称这是有史以来在 iPhone 上运行的最大 AI 模型。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B,这是 Qwen3.6-27B 的三元量化版本,在约 7.2 GB 的占用下保留了 FP16 智能的 95%,能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理,在 Apple M5 Pro 上速度可达 26 tok/s。
Qwen 3.7 Max
Qwen 3.7 是一款来自中国实验室的新AI模型,令人印象深刻,讨论焦点在于其权重是否可供下载。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b,~190k 上下文
作者分享了一种高性能的本地推理配置,使用支持 TurboQuant 的修改版 llama.cpp,在硬件受限(8GB 显存、32GB 内存)的情况下运行 Qwen3.6 35B A3B,实现了 ~37-51 tok/sec 的生成速度,并支持 ~190k 上下文。