@akazwz_: 准备用起来了,qwen3.8 27b,现在 ollama 直接支持 mac 的 mlx 很舒服。
摘要
用户表示准备使用 Qwen 3.8 27b 模型,现在 Ollama 直接支持 Mac 的 MLX,使用起来很舒适。
准备用起来了,qwen3.8 27b,现在 ollama 直接支持 mac 的 mlx 很舒服。 https://t.co/yQrYTGS19R
查看缓存全文
缓存时间: 2026/08/17 00:13
准备用起来了,qwen3.8 27b,现在 ollama 直接支持 mac 的 mlx 很舒服。 https://t.co/yQrYTGS19R
相似文章
@nicekate8888: 最近二十天我都在折腾一件事——怎么让 Qwen3.6-27B 在我的 Mac 上跑得又快又好。 一开始我用 Unsloth Q5,18 tok/s,风扇呼啦呼啦响。 后来换成 MLX 6bit + DFlash,提到 22 tok/s,还…
用户分享在Mac上通过不同量化方法(Unsloth Q5、MLX 6bit + DFlash、MTPLX 4bit)优化Qwen3.6-27B推理速度的经验,最终达到43 tok/s。
@cevenif: 用苹果电脑跑本地大模型的朋友,有个工具值得盯上——Rapid-MLX。它在 M 系列芯片上的推理速度比 Ollama 快 2 到 4 倍,因为它是直接基于苹果的 MLX 框架开发的,对芯片架构的压榨更彻底。 几个关键点: KV 缓存裁剪加…
Rapid-MLX 是一个针对苹果 M 系列芯片优化的本地大模型推理工具,基于 MLX 框架开发,推理速度比 Ollama 快 2 到 4 倍,支持多种模型、工具调用及 OpenAI API 兼容接口。
@Daniel_Farinax: 在 MacBook Pro M5 128GB MLX 上使用定制编码 CLI 优化运行 Qwen3.6-27B。也适用于 M1、M2、M3、M4 Mac…
Daniel Farinax 宣布推出一个定制 CLI,用于在 MacBook 上通过 MLX 运行 Qwen3.6-27B,正在招募测试人员,并转向 TypeScript 以加快迭代速度。
@nash_su: Mac 推理速度翻倍 这个 MTPLX 是 MLX + MTP 的整合解决方案,专门针对 Apple Silicon 进行了模型推理优化,使用加入了定制 MTP head 的模型,可以提供翻倍的推理速度。 我测试过了,Qwen3.6-27…
MTPLX 是 MLX 与 MTP 的整合解决方案,专门针对 Apple Silicon 优化模型推理速度,测试显示 Qwen3.6-27B 推理速度比 LM Studio 翻倍,并集成了风扇管理。
@sanbuphy: K2.6 成功在 Mac 本地下载并部署了 Qwen3.5-0.8B 模型,通过使用小众 Zig 语言实现并优化模型推理,证明了新模型的泛化能力。经过 4,000 多次工具调用,超过 12 小时的不间断运行,K2.6 模型共迭代了 14 …
K2.6在Mac本地成功部署Qwen3.5-0.8B模型,使用Zig语言实现推理优化,经过14轮迭代将吞吐量从约15 tokens/s提升至约193 tokens/s,比LM Studio快20%。