标签
Qwen 3.6 27B 在 MacBook Pro M5 Max 64GB 上本地运行,实现每秒34个token,草稿接受率达90%,通过 TurboQuant、GGUF 和 llama.cpp 实现,展示了笔记本AI推理的重大进步。
Daniel Farinax 演示了在 MacBook Pro M5 128GB 上运行 Qwen3.6-27B,使用自定义的 Rust 命令行工具(MPTLX)通宵构建了一个低多边形 GTA 游戏,声称其速度极快,堪比本地运行的 Claude 4.6。
antirez宣布收到audreyt赠送的M5 Max 128GB MacBook Pro,用于开发DwarfStar4,并在M3 Max和M5 Max硬件上进行分布式推理实验。
本文分析了在 MacBook Pro 上本地运行 AI 推理的可行性,对比了本地 Qwen 35B 模型与云端 Claude Opus 4.5。结论是,对于常规任务,本地模型速度快 2 倍,尽管在能力上略有差距,但仍是日常工作量中一半任务的实用选择。
作者分享了在配备 128GB 统一内存的 MacBook Pro 上运行 Qwen3.6 模型的经验,称赞了苹果硬件在本地 AI 推理方面的效率。
该文章报道了对 @antirez 使用 C 语言编写的 DS4 推理引擎的测试,指出其在 128G 内存的 MacBook Pro 上运行等效于 GPT-4o 的模型时速度惊人。