@mylifcc:大家都知道 Apple 的统一内存有多贵。今天我在 Reddit 闲逛时,偶然发现了一个令人瞠目结舌的项目……

X AI KOLs Timeline 新闻

摘要

一位 Reddit 用户的项目用一根 10 Gb/s USB-C 线将 iPhone 变成 24GB MacBook 的“副 GPU”,运行本地 Qwen 27B 大模型,使长文本处理速度提升了超过 40%。

大家都知道 Apple 的统一内存有多贵。今天我在 Reddit 闲逛时,偶然发现了一个令人瞠目结舌的项目:有人仅用一根 10 Gb/s 的 USB-C 线,就把 iPhone 变成了他那台 24GB MacBook 的“副 GPU”,运行本地 Qwen 27B 大模型,使长文本处理速度提升了超过 40%!
查看原文

相似文章

我让 iPhone 成为我 24 GB MacBook 的第二块 GPU:Qwen 3.8 27B 预填充提速 29–44%,且手机还能承载部分 CTX 窗口

Reddit r/LocalLLaMA

一位爱好者制作了一个 llama.cpp 分支版本,通过 USB-C 将模型层从 24 GB MacBook 流式传输到 iPhone 17 Pro Max,使 Qwen 3.8 27B 的预填充吞吐提升 29–44%,并在超长上下文场景下将多达约 5.7 GB 的 KV cache 卸载到手机的 GPU 和 Neural Engine 上。代码和基准测试脚本已发布在 GitHub 上。