@antirez:DS4 现已更名为 DwarfStar4,因为你可以将大量质量压缩进极小的空间……几分钟后它将……
摘要
Antirez 宣布将 DS4 更名为 DwarfStar4,并预告将采用自研 iMatrix 方案,为 128GB Mac 带来优化后的 2-bit 量化模型。
DS4 现已更名为 DwarfStar4,因为你可以将大量质量压缩进极小的空间……几分钟后它在 128GB Mac 上的表现将大幅提升,因为我即将推送采用自研 iMatrix “魔法配方”生成的更优 2-bit 量化模型。
相似文章
关于 DS4 的几句话
Antirez 宣布了 DwarfStar 4 (DS4),这是一个本地AI工具,它采用非对称 2/8 位量化,在高端消费级硬件上运行 DeepSeek v4 Flash,实现接近前沿的性能。他谈到了该项目的迅速流行、未来的模型更新和分布式推理计划,以及本地AI对严肃任务的重要性。
@ttasanen: 刚刚在我的 Mac Studio M3 Ultra 256GB 上运行了 @antirez 开发的 DS4,天哪,真的令人印象深刻。一个简洁、专为……
DS4 是由 antirez 开发的专业推理引擎,专为在高端 Mac 硬件上本地运行 DeepSeek V4 Flash 而设计,具有优化的 KV 缓存处理和 100 万上下文支持。
@antirez: 基于我在DwarfStar中实现GLM 5.2的说法,有90%的概率我会合并该分支…
Antirez宣布合并实现GLM 5.2的分支可能性很高,这可能成为运行在512GB Mac Studio上的最佳模型,并可能通过2位量化在分布式128GB MacBook上运行。
DS4
Salvatore Sanfilippo 发布了 DS4 项目,使 DeepSeek V3(文中称为 V4)Flash 能够在 Mac Metal 硬件上运行 100 万(1M)上下文窗口,并有望支持 DGX 和 AMD 芯片。
@antirez: DS4 正在 DGX Spark (GB10 / CUDA) 上运行,目前为私有分支。12 tokens/sec,此系统的内存带宽受限……
Antirez 报告了在 DGX Spark (GB10) 上对 DS4 推理进行的基准测试,指出生成速度为 12 tokens/sec,预填充性能较高,并计划在该代码库成熟后将其合并。