Dwarfstar 量化工具
摘要
一位用户分享了 Dwarfstar 的早期使用体验。该工具针对本地运行大语言模型提供定制化的量化技术,用户在配备 96GB 内存的 M3 Ultra Mac Studio 上运行 Qwen3-8B 时,反馈速度很快,且仍有充足的内存余量。
有人试过这些吗?https://dwarfstar.sh 他们的量化技术很巧妙,针对少数几款模型在其软件上运行做了专门优化。我用 96GB 内存的 M3 Ultra Mac Studio 跑 Qwen3-8B,速度很快,目前来看效果也不错。内存余量还很充足,说实话有点被惊艳到了。想问问大家有没有试过,体验如何。
相似文章
本地运行 Qwen3.8 27B:来自我的 Mac Studio 的实测数据
本文提供了在 Mac Studio 上本地运行 Qwen3.8 27B AI 模型的实际性能基准测试,将其与前代模型进行比较,并讨论了硬件要求和量化效果。
@QuixiAI: https://x.com/QuixiAI/status/2068776183102067086
DwarfStar 是一个自包含的原生推理引擎,专为 DeepSeek V4 Flash 和 PRO 模型优化,支持 Metal、CUDA 和 ROCm 后端,专注于高端个人电脑和 Mac Studio。
@Oluwaphilemon1:Qwen3.8-27B 正在一台仅有 16GB 统一内存的 M1 MacBook 上本地运行。不用云端 API。不用外接 GPU。只需一台……
演示中,Qwen3.8-27B 使用 UD-Q2_K_XL 量化和全量 Metal 卸载,在配备 16GB 统一内存的 M1 MacBook 上本地运行,生成速度达到约 4 token/秒(使用推测解码时约为 5.5 token/秒)——这表明,大型开放权重模型可以在许多人已经拥有的硬件上运行。
QWEN3.6-27B-MLX-8bit (29.5GIG) 非常出色
一位用户分享了他们切换到 QWEN3.6-27B-MLX-8bit 模型用于本地AI任务的经验,发现它在 Mac Studio 上节省了大量内存,同时表现与更大模型相当,提高了工作流程的稳定性。
Qwen 3.8 27b 感觉也就那样?
一位软件开发者分享了对本地运行 Qwen 3.8 27b 的怀疑性评测:通过 Unsloth 的 Q6 量化在 32GB VRAM 上运行,他认为基准测试和网上的热度夸大了该模型的实际编码能力。他反馈说模型经常陷入思考循环、Swift 1.5 微调版本的质量大幅下降,并且认为公众情绪与模型的真实效果之间存在脱节。