@QuixiAI: https://x.com/QuixiAI/status/2068776183102067086
摘要
DwarfStar 是一个自包含的原生推理引擎,专为 DeepSeek V4 Flash 和 PRO 模型优化,支持 Metal、CUDA 和 ROCm 后端,专注于高端个人电脑和 Mac Studio。
查看缓存全文
缓存时间: 2026/06/22 11:34
@antirez https://t.co/bP1IrTtUIu — # antirez/ds4 来源:https://github.com/antirez/ds4 # DwarfStar DwarfStar 是一款小型原生推理引擎,优先针对 DeepSeek V4 Flash 进行优化,并支持在超大内存机器上运行 DeepSeek V4 PRO。它刻意保持狭窄定位:不是通用的 GGUF 运行器,也不是其他运行时的封装——它是完全独立的。除了以正确且快速的方式运行模型外,该项目还提供 DeepSeek 专属的加载、提示渲染、工具调用、KV 状态处理(内存和磁盘)、服务端 API 以及集成编码代理,所有这些都能与编码代理或提供的 CLI 界面配合使用。此外,还包含用于 GGUF 和 imatrix 生成、质量与速度测试的工具。我们支持以下后端:
- Metal 是我们的主要目标平台。从配备 96GB 内存(或更少,使用 SSD 流式传输)的 MacBook 开始。
- NVIDIA CUDA / DGX Spark,针对 DGX Spark 特别优化的 CUDA 支持。
- Strix Halo (ROCm),如 Framework Desktop 及其他基于相同 GPU 和统一内存设计的系统。
如果没有 llama.cpp 和 GGML,这个项目就不会存在,请务必阅读致谢部分,非常感谢 Georgi Gerganov 和所有其他贡献者。
请注意 DeepSeek v4 并非我们唯一的目标。目前 Flash 和 PRO 因能力、大小和 KV 缓存效率而完美契合。如果明天发布了一款更适合 128GB 内存大小的开放权重模型,我们可能会切换;对于其他重要内存大小类(如 512GB 内存)也是如此。该项目严格根据当前存在的开放权重模型采取机会主义策略。如果新模型得到支持,旧模型可能会被完全移除且不再受支持,除非存在某种能力重叠。
动机
- 非常强大的开放权重模型终于出现了。DeepSeek v4 Flash 感觉接近前沿水平,PRO 甚至更好。两者都非常耐受 2 位量化。
- 像 MacBook、DGX Spark 这样非常强大的计算机已经存在。
- DeepSeek v4 的 KV 缓存设计使得运行超大上下文变得实用。其他厂商也在采用这种方法。
- 这些数百亿参数的模型,即使作为量化模型,也严格优于较小的(即使是密集的)模型,无论基准测试怎么说。
尽管如此,关于这个项目有几件重要的事情:
- 本地推理领域有许多优秀的项目,但新模型不断发布,注意力立即被下一个需要实现的模型吸引。本项目刻意选择了狭窄的赌注:一次只支持一个模型,使用官方向量进行验证(通过官方实现获得 logits),进行长上下文测试,并进行足够的代理集成以确保其真正可用。具体模型可能会随着领域发展而变化,但约束条件保持不变:在高端个人电脑或 Mac Studio(从 96/128GB 内存起步)上进行可信的本地推理。
- 本软件是在 GPT 5.5 的强力协助下开发的,由人类主导创意、测试和调试。我们公开说明这一点,因为这决定了项目的构建方式。如果你对 AI 开发的代码不满意,本软件不适合你。下面的致谢同样重要:如果没有
llama.cpp和 GGML(大部分是手工编写的),这一切都不会存在。 - 本实现基于这样的理念:像 DeepSeek v4 这样的压缩 KV 缓存和现代 MacBook 的快速 SSD 磁盘,应该改变我们认为 KV 缓存属于内存的观念。KV 缓存实际上是一等磁盘公民。快速 SSD 磁盘还从“模型需要适配内存”的角度改变了推理游戏:虽然拥有多于模型大小的内存仍然是首选,但 SSD 流式传输使得可用内存量从硬性截止点(我能否运行这个模型?)变成了一个连续的速率范围。
- 我们的愿景是:本地推理应该是三样开箱即用、良好协作的事物的集合:A) 带 HTTP API 的推理引擎 + B) 为特定引擎和特定假设精心制作的 GGUF + C) 使用编码代理实现进行测试和验证。D) 针对特定模型和执行环境的目的构建代理。DwarfStar 仅与提供的 GGUF 文件一起运行。它会针对不同上下文大小下官方获得的 logits 进行测试。这个项目之所以存在,是因为我们希望让一个本地模型在端到端上感觉完整,而不仅仅是可运行。然而,这是 beta 质量代码,所以我们可能还没有达到那个目标,尤其是最近我们引入了大型新功能:分布式推理、SSD 流式传输以及其他较小的改进。
- 优化后的图路径针对 macOS 上的 Metal 和 Linux 上的 CUDA。CPU 路径仅用于正确性检查和模型/分词器诊断。对于仅 CPU 的 Linux 构建,使用
make cpu;它会构建不带 CUDA 或 Metal 的普通./ds4和./ds4-server二进制文件。在 macOS 上,警告:当前 macOS 版本在虚拟内存实现中存在一个 bug,如果你尝试运行 CPU 代码,会导致内核崩溃。记住?软件糟透了。无法修复 CPU 推理以避免崩溃,因为每次都需要重启电脑,这并不有趣。如果你有胆量,请帮助我们。
致谢 llama.cpp 和 GGML
ds4.c 没有链接到 GGML,但它的存在 要感谢 llama.cpp 项目开辟的道路,以及其中开发的内核、量化格式、GGUF 生态系统和来之不易的工程知识。我们感谢并感激 llama.cpp(https://github.com/ggml-org/llama.cpp)及其贡献者。他们的实现、内核、测试和设计选择,是构建这个 DeepSeek V4 特定推理路径时的重要参考。一些源代码片段在此根据 MIT 许可证保留或改编:GGUF 量化布局和表格、CPU 量化/点积逻辑,以及某些内核。因此,也因为我们真诚地感激,我们将 GGML 作者的版权声明保留在我们的 LICENSE 文件中。
状态
代码和 GGUF 文件被认为是 beta 质量,因为推理和模型服务是一件复杂的事情,而且这一切只存在了几天。需要几个月才能达到更稳定的形式。然而,我们努力使项目保持可用状态,并且正在取得进展。如果你遇到问题,请确保使用 --trace 记录会话,并提交包含完整跟踪信息的问题。ds4-agent 是 alpha 质量,该项目是后来添加的。
更多文档
如果你在寻找非常具体的内容,我们有其他的子 README 文件。否则,对于常规使用,请继续阅读接下来的章节。
- CONTRIBUTING.md:贡献者的正确性和速度回归测试指南。在发送拉取请求之前请阅读此内容。
- gguf-tools/README.md:离线 GGUF 生成、imatrix 收集、量化工具和质量检查。
- gguf-tools/imatrix/README.md:如何收集和使用路由 MoE imatrix。
- gguf-tools/imatrix/dataset/README.md:如何生成校准提示语料库。
- gguf-tools/quality-testing/README.md:如何对本地 GGUF 与官方 DeepSeek V4 Flash/PRO 续写进行评分。
- dir-steering/README.md:方向性引导数据、向量生成和使用。
- speed-bench/README.md:基准测试命令、图表和 CSV 生成。
- tests/test-vectors/README.md:用于回归检查的官方续写向量。
模型权重
本实现仅适用于为此项目发布的 DeepSeek V4 Flash 和 PRO GGUF。它不是通用的 GGUF 加载器,任意的 DeepSeek/GGUF 文件将不具有引擎所需的张量布局、量化混合、元数据或可选的 MTP 状态。这里提供的 2 位量化并非儿戏:它们表现良好,能在编码代理下工作,并以可靠方式调用工具。2 位量化使用了非常不对称的量化:只有路由 MoE 专家被量化,up/gate 部分为 IQ2_XXS,down 部分为 Q2_K。它们占据了模型空间的大部分:其他组件(共享专家、投影、路由)保持不变以保证质量。
下载一个主模型。优先选择 imatrix 版本。
./download_model.sh q2-imatrix # 96/128 GB 内存机器,imatrix 调整的 q2
./download_model.sh q2-q4-imatrix # 96/128 GB 内存机器,q2 最后 6 层为 q4
./download_model.sh q4-imatrix # >= 256 GB 内存机器,imatrix 调整的 q4
./download_model.sh pro-q2-imatrix # 512 GB 内存机器,PRO q2 imatrix 量化
对于完整的 PRO Q4 分布式运行,每台机器下载一半:
./download_model.sh pro-q4-layers00-30 # PRO Q4 分割的前半部分
./download_model.sh pro-q4-layers31-output # PRO Q4 分割的后半部分
该脚本从 https://huggingface.co/antirez/deepseek-v4-gguf 下载,将文件存储在 ./gguf/ 目录下,使用 curl -C - 恢复部分下载,并更新 ./ds4flash.gguf 以指向所选的主模型。pro-q4-layers00-30、pro-q4-layers31-output 和 pro-q4-split 目标下载分布式 PRO Q4 片段,但不会更新 ./ds4flash.gguf。公共下载不需要认证,但如果存在 --token TOKEN、HF_TOKEN 或本地 Hugging Face token 缓存,则会使用它们。
如果你想重新生成 GGUF 文件或收集新的 imatrix,请参见 gguf-tools/README.md。这些工具旨在用于离线模型构建工作,在完整的 DeepSeek V4 Flash 权重上可能需要很长时间。本地工具支持 Flash GGUF 生成。PRO GGUF 生产目前仍依赖外部的 llama.cpp 工作流;原生工具日后可添加。
./download_model.sh mtp 获取 Flash 的可选推测解码支持 GGUF。它可以与 q2-imatrix、q2-q4-imatrix 和 q4-imatrix 一起使用,但必须通过 --mtp 显式启用。当前的 MTP/推测解码路径仍处于实验阶段:它通过了正确性检查,目前最多提供轻微加速,并非有意义的生成速度提升。
然后构建:
make # macOS Metal
make cuda-spark # Linux CUDA, DGX Spark / GB10
make cuda-generic # Linux CUDA, 其他本地 CUDA GPU
make cpu # 仅 CPU 诊断构建
./ds4flash.gguf 是这两个二进制文件使用的默认模型路径。使用 -m 从 ./gguf/ 中选择其他支持的 GGUF。运行 ./ds4 --help 和 ./ds4-server --help 查看完整标志列表。
速度
以下是单次运行 Metal CLI 数据,使用 --ctx 32768、--nothink、贪婪解码和 -n 256。短提示是一个普通的意大利小故事提示。长提示则练习分块预填充加长上下文解码。Q4 需要更大内存的机器类别,因此 M3 Max Q4 数据为 N/A。
| 机器 | 量化 | 提示 | 预填充 | 生成 |
|---|---|---|---|---|
| MacBook Pro M3 Max, 128 GB | q2 | short | 58.52 t/s | 26.68 t/s |
| MacBook Pro M3 Max, 128 GB | q2 | 11709 tokens | 250.11 t/s | 21.47 t/s |
| MacBook Pro M3 Max, 128 GB | q4 | short | N/A | N/A |
| MacBook Pro M3 Max, 128 GB | q4 | long | N/A | N/A |
| MacBook Pro M5 Max, 128 GB | q2 | short | 87.25 t/s | 34.27 t/s |
| MacBook Pro M5 Max, 128 GB | q2 | 11707 tokens | 463.44 t/s | 25.90 t/s |
| Mac Studio M3 Ultra, 512 GB | q2 | short | 84.43 t/s | 36.86 t/s |
| Mac Studio M3 Ultra, 512 GB | q2 | 11709 tokens | 468.03 t/s | 27.39 t/s |
| Mac Studio M3 Ultra, 512 GB | q4 | short | 78.95 t/s | 35.50 t/s |
| Mac Studio M3 Ultra, 512 GB | q4 | 12018 tokens | 448.82 t/s | 26.62 t/s |
| Mac Studio M3 Ultra, 512 GB | PRO q2 | 32768 tokens | 138.82 t/s | 9.56 t/s |
| DGX Spark GB10, 128 GB | q2 | 7047 tokens | 343.81 t/s | 13.75 t/s |
M3 Max t/s PRO 模型 M3 Ultra t/s
运行大于内存的模型
常规 Metal 路径尝试让模型驻留在 GPU 可寻址内存中。这是最快的路径,当模型适合时应作为默认选择。当模型不适配时,DwarfStar 还提供仅 Metal 的 SSD 流式传输能力模式。在此模式下,非路由模型权重保留在内存中,而路由 MoE 专家则保存在内存缓存中,并在缓存未命中时从 GGUF 文件加载。流式传输不如将整个模型放入 RAM 那么快。它仍然需要内存来存放非路由权重、KV 缓存、图暂存空间、激活值和路由专家缓存。它的有用之处在于:路由专家占模型大小的大部分,而现代 Mac SSD 速度足够快,使得缓存未命中可以容忍。长预填充仍然可以很快;生成对缓存未命中更为敏感,因为每个新 token 都会再次通过专家路由。
从自动缓存预算开始:
./ds4 -m ./ds4flash.gguf --ssd-streaming
如果启动时报告专家缓存太大,或者你想为上下文保留更多内存,可以显式设置路由专家缓存:
./ds4 -m ./ds4flash.gguf --ssd-streaming --ssd-streaming-cache-experts 32GB
32GB 值是完整路由专家的内存预算,而不是通用的字节缓存。DwarfStar 会将其转换为适用于当前 GGUF 的完整专家数量。非路由权重、KV 缓存、图暂存空间和激活值需要额外内存。只有自动缓存预算会为你进行减法运算:它取 Metal 推荐工作集的 80%,减去非路由权重,然后将剩余部分用于路由专家。常规使用时保持热专家预加载启用;仅在进行测量时使用 --ssd-streaming-cold 和 --ssd-streaming-preload-experts N。
实际 SSD 流式传输示例
在 64GB MacBook 上,从 2 位 Flash GGUF 和适度的专家缓存开始:
./download_model.sh q2-imatrix
./ds4 \
-m ./ds4flash.gguf \
--ssd-streaming \
--ssd-streaming-cache-experts 32GB \
--ctx 32768 \
--nothink
在 128GB MacBook 上,PRO q2 流式传输仍处于实验阶段,但可用于检查,当你能接受较慢生成时也可用于偶尔的工作。以 --nothink 开始:
./download_model.sh pro-q2-imatrix
./ds4 \
-m gguf/DeepSeek-V4-Pro-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-Instruct-imatrix.gguf \
--ssd-streaming \
--ctx 32768 \
--nothink
在配备 128GB RAM 的 M5 Max 上,短时间 PRO q2 流式解码基准测试发现自动预算最佳:它选择了大约 59GB 的路由专家缓存。在那台机器上,手动设置 64GB 到 75GB 的缓存表现接近。较大的显式 NGB 请求在推理前会被限制,以确保专家缓冲区保持可锁定而非落入 macOS 分页。如果系统处于额外内存压力下,且 mlock 仍然失败,ds4 会拒绝安装可分页的专家缓存条目,并在继续使用测量到的可锁定缓存大小之前释放锁缓存余量。优先选择自动预算;如果在此类机器上手动设置缓存,从大约 48GB 到 64GB 开始,然后仅在启动日志报告可锁定缓存时才增加。一旦机器稳定,可以以保守的生成限制重新启用思考:
./ds4 \
-m gguf/DeepSeek-V4-Pro-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-Instruct-imatrix.gguf \
--ssd-streaming \
--ctx 32768 \
--think \
--tokens 1500
重要的启动行是缓存报告。开始时保守,如果机器有空余空间,再增加缓存。
分布式推理
分布式推理使 DwarfStar 能够运行对于单台机器来说太大的模型,方法是将 Transformer 层分割到多台机器上。主要示例是在两台 128GB MacBook 上运行完整的 4 位 Flash 量化:每个进程只映射自己的层切片,激活值通过 TCP 发送,协调器保持正常的 CLI/API 行为。分布式推理还允许通过同时使用多个 GPU 在不同的微批次和不同层上进行处理,从而加速预填充,类似于异步流水线并行中的处理方式。
相似文章
如何使用此项目?
DwarfStar是一款专门为在消费级硬件上高效运行大型语言模型(如DeepSeek和GLM)而设计的推理引擎,支持多平台及SSD流式处理等高级功能。
关于 DS4 的几句话
Antirez 宣布了 DwarfStar 4 (DS4),这是一个本地AI工具,它采用非对称 2/8 位量化,在高端消费级硬件上运行 DeepSeek v4 Flash,实现接近前沿的性能。他谈到了该项目的迅速流行、未来的模型更新和分布式推理计划,以及本地AI对严肃任务的重要性。
DeepSeek V4 Flash 搭配 Antirez Dwarfstar 4 表现惊人
本文强调了在高内存Mac上使用DeepSeek V4 Flash搭配Antirez Dwarfstar 4的出色性能,指出其超越其他AI模型,并减少了对更大系统的需求。
Dwarfstar 量化工具
一位用户分享了 Dwarfstar 的早期使用体验。该工具针对本地运行大语言模型提供定制化的量化技术,用户在配备 96GB 内存的 M3 Ultra Mac Studio 上运行 Qwen3-8B 时,反馈速度很快,且仍有充足的内存余量。
@QuixiAI: https://x.com/QuixiAI/status/2073936537213915611
QuixiAI 发布了 QuixiCore,这是一系列面向现代加速器的原生高性能 AI 内核库,为 CUDA、Metal、ROCm、XPU 和 Gaudi 后端提供了独立的实现,所有实现共享一个通用契约但没有共享代码。