@TheAhmadOsman: 一直在玩@PrismML的新模型,该模型将Qwen 3.5 27B变成了子4GB和子6GB的权重,令我印象深刻 C…

X AI KOLs Following 模型

摘要

PrismML发布了一个压缩版的Qwen 3.5 27B,可以装入子4GB和子6GB内存中,实现了令人印象深刻的本地AI性能。

一直在玩@PrismML的新模型,该模型将Qwen 3.5 27B变成了子4GB和子6GB的权重,令我印象深刻 无法相信自圣诞节(约8个月前)以来开源和本地AI取得了多么大的进展。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:03

一直在玩 @PrismML 的新模型,把 Qwen 3.5 27B 的权重压到了 4GB 以下和 6GB 以下,让我印象深刻。

不敢相信自从圣诞节(约8个月前)以来,开源和本地 AI 已经进步了这么多。

相似文章

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B,这是 Qwen3.6-27B 的三元量化版本,在约 7.2 GB 的占用下保留了 FP16 智能的 95%,能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理,在 Apple M5 Pro 上速度可达 26 tok/s。

Qwen 3.7 Max

Reddit r/LocalLLaMA

Qwen 3.7 是一款来自中国实验室的新AI模型,令人印象深刻,讨论焦点在于其权重是否可供下载。