@mylifcc:大家都知道 Apple 的统一内存有多贵。今天我在 Reddit 闲逛时,偶然发现了一个令人瞠目结舌的项目……
摘要
一位 Reddit 用户的项目用一根 10 Gb/s USB-C 线将 iPhone 变成 24GB MacBook 的“副 GPU”,运行本地 Qwen 27B 大模型,使长文本处理速度提升了超过 40%。
相似文章
我让 iPhone 成为我 24 GB MacBook 的第二块 GPU:Qwen 3.8 27B 预填充提速 29–44%,且手机还能承载部分 CTX 窗口
一位爱好者制作了一个 llama.cpp 分支版本,通过 USB-C 将模型层从 24 GB MacBook 流式传输到 iPhone 17 Pro Max,使 Qwen 3.8 27B 的预填充吞吐提升 29–44%,并在超长上下文场景下将多达约 5.7 GB 的 KV cache 卸载到手机的 GPU 和 Neural Engine 上。代码和基准测试脚本已发布在 GitHub 上。
@remilouf: 在 @julien_c 的推文之后,我买了一台配备 128B 统一内存的 MacBook Pro,并开始将 Qwen3.6 作为我的日常驱…
作者分享了在配备 128GB 统一内存的 MacBook Pro 上运行 Qwen3.6 模型的经验,称赞了苹果硬件在本地 AI 推理方面的效率。
2台游戏PC + 1台M4 Pro MacBook走以太网 + 2台iPhone 17 Pro Max走USB-C:Qwen3.8 Flash Next在60k上下文下达到37-39 tok/s(262k布局进行中)
一位爱好者构建了一套分布式推理系统,将两台游戏PC、一台M4 Pro MacBook和两台iPhone 17 Pro Max串联起来运行Qwen 3.8 Flash Next(一个48层、每层512专家的MoE模型),通过设备链上的流水线投机解码,在60k上下文下实现了37-39 tok/s的速度。
@IOHK_Charles:Apple 在本地大语言模型领域领先程度让我震惊。全新的 Mac Studio M5 Ultra 将配备 512 GB 显存,售价约……
Charles Hoskinson 称 Apple 即将推出的 Mac Studio M5 Ultra 凭借 512GB 内存,可通过 Thunderbolt 5 串联运行拥有 2 万亿参数的前沿模型,本地运行成本仅约 10 万美元,远低于同等能力的 NVIDIA 方案。
@sitinme: 有一个挺有意思的开源项目,叫 Cider,专门给 Apple Silicon 芯片的 Mac 做本地 AI 推理加速。 很多人买了 Mac mini、MacBook Pro ,想在本地跑模型,但总会出现速度不够快、内存吃得猛的情况 其实 …
Cider 是一个开源项目,专为 Apple Silicon Mac 设计,通过充分利用 M 系列芯片的算力来加速本地 AI 推理,适配 MLX 生态,支持 Qwen、Llama 等模型,安装简单。