@VincentLogic: 发现个炸裂的开源项目!Redis 之父 antirez 亲自下场搞了个大新闻! ds4 —— DeepSeek V4 Flash 本地推理引擎,专为 Mac Metal 优化,连续霸榜 GitHub 好几天! 最狠的地方来了: 128GB…
摘要
Redis 之父 antirez 发布了名为 ds4 的开源项目,是专为 Mac Metal 优化的 DeepSeek V4 Flash 本地推理引擎,支持磁盘 KV 缓存、超长上下文,性能优异。
相似文章
@axiaisacat: Redis 作者 antirez 又扔了个硬核项目:ds4。 不是又一个 GGUF runner,而是专门为 DeepSeek V4 Flash 写的本地推理引擎: Metal / CUDA 2-bit 量化 1M context KV …
Redis creator antirez released ds4, a local inference engine optimized for DeepSeek V4 Flash with 2-bit quantization and support for 1M context KV cache on Metal and CUDA.
Redis 作者出品:用 ds4 在本地运行 LLM
Redis 作者 antirez 发布了 ds4(DwarfStar 4),这是一款针对高内存 Mac、CUDA 和 ROCm 机器的精简 C 语言本地推理引擎,支持 DeepSeek V4/V4.1、GLM 5.x 和 Qwen3.8 Flash Next,采用非对称 2-bit 量化、基于 SSD 的 KV 缓存,并提供 CLI/服务器/Agent 接口,采用 MIT 许可证。
@ttasanen: 刚刚在我的 Mac Studio M3 Ultra 256GB 上运行了 @antirez 开发的 DS4,天哪,真的令人印象深刻。一个简洁、专为……
DS4 是由 antirez 开发的专业推理引擎,专为在高端 Mac 硬件上本地运行 DeepSeek V4 Flash 而设计,具有优化的 KV 缓存处理和 100 万上下文支持。
DeepSeek v4.1 Flash 1017 for Dwarfstar (ds4)
nazeshinjite 发布了 DeepSeek V4.1 Flash 1017 的 3.91bpw GGUF 量化版本,面向 antirez 的 DwarfStar (ds4) 推理引擎,采用 SSD 流式加载,可在 128GB Mac 上以最高 20tps 解码。
@PandaTalk8: 这个测试效果太惊艳了。 原贴作者测试了 @antirez 刚刚用 C 写的 DS4 推理引擎,本地部署效果看起来非常快。 好消息时只需要128G内存就可以跑一个相当于gpt-4o 本地模型。 坏消息时需要128G 的Mac book pr…
该文章报道了对 @antirez 使用 C 语言编写的 DS4 推理引擎的测试,指出其在 128G 内存的 MacBook Pro 上运行等效于 GPT-4o 的模型时速度惊人。