@VincentLogic: 发现个炸裂的开源项目!Redis 之父 antirez 亲自下场搞了个大新闻! ds4 —— DeepSeek V4 Flash 本地推理引擎,专为 Mac Metal 优化,连续霸榜 GitHub 好几天! 最狠的地方来了: 128GB…
摘要
Redis 之父 antirez 发布了名为 ds4 的开源项目,是专为 Mac Metal 优化的 DeepSeek V4 Flash 本地推理引擎,支持磁盘 KV 缓存、超长上下文,性能优异。
发现个炸裂的开源项目!Redis 之父 antirez 亲自下场搞了个大新闻! ds4 —— DeepSeek V4 Flash 本地推理引擎,专为 Mac Metal 优化,连续霸榜 GitHub 好几天! 最狠的地方来了: 128GB 的 MacBook Pro M3 Max 就能跑满血版 DeepSeek V4 生成速度每秒 26 token,预填充 58 t/s 支持 100 万 token 超长上下文! 核心技术太硬核了: ✦ 磁盘 KV 缓存:把 SSD 硬盘当成显存用,突破内存限制 ✦ 纯 C 语言编写:极致性能优化 ✦ 兼容 OpenAI 接口:现有 Agent 工具无缝对接 ✦ 高度压缩的 KV 缓存:显存占用极其平稳 就算你有 100 万长度的上下文,推理也能丝滑顺畅,而且显存占用稳如老狗。 Mac 用户想体验真正的本地 AI 巅峰,这个必须试试! 项目地址放评论区了
相似文章
@axiaisacat: Redis 作者 antirez 又扔了个硬核项目:ds4。 不是又一个 GGUF runner,而是专门为 DeepSeek V4 Flash 写的本地推理引擎: Metal / CUDA 2-bit 量化 1M context KV …
Redis creator antirez released ds4, a local inference engine optimized for DeepSeek V4 Flash with 2-bit quantization and support for 1M context KV cache on Metal and CUDA.
@ttasanen: 刚刚在我的 Mac Studio M3 Ultra 256GB 上运行了 @antirez 开发的 DS4,天哪,真的令人印象深刻。一个简洁、专为……
DS4 是由 antirez 开发的专业推理引擎,专为在高端 Mac 硬件上本地运行 DeepSeek V4 Flash 而设计,具有优化的 KV 缓存处理和 100 万上下文支持。
@PandaTalk8: 这个测试效果太惊艳了。 原贴作者测试了 @antirez 刚刚用 C 写的 DS4 推理引擎,本地部署效果看起来非常快。 好消息时只需要128G内存就可以跑一个相当于gpt-4o 本地模型。 坏消息时需要128G 的Mac book pr…
该文章报道了对 @antirez 使用 C 语言编写的 DS4 推理引擎的测试,指出其在 128G 内存的 MacBook Pro 上运行等效于 GPT-4o 的模型时速度惊人。
Metal 上的 DeepSeek V4 Flash 本地推理引擎
ds4 是一款专为 Apple Silicon 优化的 DeepSeek V4 Flash 本地原生推理引擎,支持基于磁盘的 KV 缓存持久化和 Metal 加速。
@eternityspring: MiniMax H3 本地爆火,可教程清一色 NVIDIA + ComfyUI,Mac 用户只能干瞪眼。 现在 Redis 之父 antirez 看不下去,自己用纯 C + Metal 手写了一个 H3 推理引擎,Apple Silico…
Redis creator antirez releases h3.c, a pure C + Metal inference engine for MiniMax H3 that runs natively on Apple Silicon, enabling text-to-video/audio without Python, PyTorch, or ComfyUI.