DS4

Reddit r/LocalLLaMA 工具
open-source llm-inference mac-metal deepseek salvatore-sanfilippo

摘要

Salvatore Sanfilippo 发布了 DS4 项目，使 DeepSeek V3（文中称为 V4）Flash 能够在 Mac Metal 硬件上运行 100 万（1M）上下文窗口，并有望支持 DGX 和 AMD 芯片。

Redis 的创造者 Salvatore Sanfilippo 在 GitHub 上发布了一个名为 DS4 的新项目。[https://github.com/antirez/ds4/](https://github.com/antirez/ds4/) 简而言之，该项目旨在让 DeepSeek V4 Flash 在 Mac Metal 硬件上以 100 万（1M）上下文窗口运行。其中包含一些新颖的技术手段。几个小时前，他发布了一段在 DGX 上运行的视频：[https://x.com/antirez/status/2053381973226184749](https://x.com/antirez/status/2053381973226184749) 如果他们能在 DGX 上运行，那么也许也能在 A6000（Pro 6000 的笔误，应为 A100/A100 系列或指代高端显卡，此处保留原意直译为 Pro 6000 可能指代某种高端型号，但通常语境下 DGX 为服务器，Mac 为客户端，中间可能指代其他 GPU 型号，这里按原文直译）上以稍小的上下文窗口高速运行。此外，我认为未来他们也可能适配 AMD 芯片。该服务器已经提供了 OpenAI 和 Anthropic 的接口，可用于 Agentic 代码工具。我知道这个子版块的用户拥有顶级的硬件设备。我鼓励大家去查看这个项目，看看是否能为其做出贡献。
查看原文

相似文章

关于 DS4 的几句话

Hacker News Top

Antirez 宣布了 DwarfStar 4 (DS4)，这是一个本地AI工具，它采用非对称 2/8 位量化，在高端消费级硬件上运行 DeepSeek v4 Flash，实现接近前沿的性能。他谈到了该项目的迅速流行、未来的模型更新和分布式推理计划，以及本地AI对严肃任务的重要性。