@PandaTalk8: 这个测试效果太惊艳了。 原贴作者测试了 @antirez 刚刚用 C 写的 DS4 推理引擎,本地部署效果看起来非常快。 好消息时只需要128G内存就可以跑一个相当于gpt-4o 本地模型。 坏消息时需要128G 的Mac book pr…
摘要
该文章报道了对 @antirez 使用 C 语言编写的 DS4 推理引擎的测试,指出其在 128G 内存的 MacBook Pro 上运行等效于 GPT-4o 的模型时速度惊人。
查看缓存全文
缓存时间: 2026/05/10 14:28
这个测试效果太惊艳了。
原贴作者测试了 @antirez 刚刚用 C 写的 DS4 推理引擎,本地部署效果看起来非常快。
好消息时只需要128G内存就可以跑一个相当于gpt-4o 本地模型。 坏消息时需要128G 的Mac book pro。 @XianyuLi 你的128G mbp 没有买瞎, 是我错了, 我准备好好搬砖升级电脑了。
相似文章
@VincentLogic: 发现个炸裂的开源项目!Redis 之父 antirez 亲自下场搞了个大新闻! ds4 —— DeepSeek V4 Flash 本地推理引擎,专为 Mac Metal 优化,连续霸榜 GitHub 好几天! 最狠的地方来了: 128GB…
Redis 之父 antirez 发布了名为 ds4 的开源项目,是专为 Mac Metal 优化的 DeepSeek V4 Flash 本地推理引擎,支持磁盘 KV 缓存、超长上下文,性能优异。
@ttasanen: 刚刚在我的 Mac Studio M3 Ultra 256GB 上运行了 @antirez 开发的 DS4,天哪,真的令人印象深刻。一个简洁、专为……
DS4 是由 antirez 开发的专业推理引擎,专为在高端 Mac 硬件上本地运行 DeepSeek V4 Flash 而设计,具有优化的 KV 缓存处理和 100 万上下文支持。
@mylifcc: 我已经在mac上用上Gemma-4-12b了,技术栈是: llama.cpp + GGUF Q4_K_M + Metal 32K context,本地 OpenAI-compatible API 实测约 36 tok/s,常驻 RSS 约…
用户分享在Mac上使用llama.cpp配合GGUF Q4_K_M量化版Gemma-4-12b模型的经验,实现了约36 tok/s的本地推理速度和约10GB内存占用。
@Michaelzsguo:所以你买了128GB MacBook Pro。现在的问题不是“哪个本地模型的TPS最高?”而是:哪个设…
这条推文推荐了适用于128GB MacBook Pro的本地AI编程方案,使用Qwen 3.6模型搭配MLX服务器及特定配置,以实现可靠的编程辅助。
@sitinme: 有一个挺有意思的开源项目,叫 Cider,专门给 Apple Silicon 芯片的 Mac 做本地 AI 推理加速。 很多人买了 Mac mini、MacBook Pro ,想在本地跑模型,但总会出现速度不够快、内存吃得猛的情况 其实 …
Cider 是一个开源项目,专为 Apple Silicon Mac 设计,通过充分利用 M 系列芯片的算力来加速本地 AI 推理,适配 MLX 生态,支持 Qwen、Llama 等模型,安装简单。