@VincentLogic: 发现个炸裂的开源项目!Redis 之父 antirez 亲自下场搞了个大新闻! ds4 —— DeepSeek V4 Flash 本地推理引擎,专为 Mac Metal 优化,连续霸榜 GitHub 好几天! 最狠的地方来了: 128GB…

X AI KOLs Timeline 工具

摘要

Redis 之父 antirez 发布了名为 ds4 的开源项目,是专为 Mac Metal 优化的 DeepSeek V4 Flash 本地推理引擎,支持磁盘 KV 缓存、超长上下文,性能优异。

发现个炸裂的开源项目!Redis 之父 antirez 亲自下场搞了个大新闻! ds4 —— DeepSeek V4 Flash 本地推理引擎,专为 Mac Metal 优化,连续霸榜 GitHub 好几天! 最狠的地方来了: 128GB 的 MacBook Pro M3 Max 就能跑满血版 DeepSeek V4 生成速度每秒 26 token,预填充 58 t/s 支持 100 万 token 超长上下文! 核心技术太硬核了: ✦ 磁盘 KV 缓存:把 SSD 硬盘当成显存用,突破内存限制 ✦ 纯 C 语言编写:极致性能优化 ✦ 兼容 OpenAI 接口:现有 Agent 工具无缝对接 ✦ 高度压缩的 KV 缓存:显存占用极其平稳 就算你有 100 万长度的上下文,推理也能丝滑顺畅,而且显存占用稳如老狗。 Mac 用户想体验真正的本地 AI 巅峰,这个必须试试! 项目地址放评论区了
查看原文

相似文章

Redis 作者出品:用 ds4 在本地运行 LLM

Hacker News Top

Redis 作者 antirez 发布了 ds4(DwarfStar 4),这是一款针对高内存 Mac、CUDA 和 ROCm 机器的精简 C 语言本地推理引擎,支持 DeepSeek V4/V4.1、GLM 5.x 和 Qwen3.8 Flash Next,采用非对称 2-bit 量化、基于 SSD 的 KV 缓存,并提供 CLI/服务器/Agent 接口,采用 MIT 许可证。

DeepSeek v4.1 Flash 1017 for Dwarfstar (ds4)

Reddit r/LocalLLaMA

nazeshinjite 发布了 DeepSeek V4.1 Flash 1017 的 3.91bpw GGUF 量化版本,面向 antirez 的 DwarfStar (ds4) 推理引擎,采用 SSD 流式加载,可在 128GB Mac 上以最高 20tps 解码。