@antirez: DeepSeek v4 PRO 通过SSD流式传输在我的128GB MacBook m5 max上运行。1.6万亿参数。
摘要
DeepSeek v4 PRO，一个拥有1.6万亿参数的模型，通过SSD流式传输在128GB MacBook m5 max上运行，展示了本地运行大规模模型的能力。
查看缓存全文
缓存时间: 2026/06/05 09:10
DeepSeek v4 PRO 通过 SSD 流式运行在我的 128GB MacBook m5 max 上。1.6 万亿参数。https://t.co/rokyvu16Ut
相似文章
@antirez: 我没想到 DeepSeek v4 PRO（非 Flash 版本）能在配备 512GB 内存的 Mac Studio M3 Ultra 上流畅运行。这是 2 位量化的……
Antirez 报告称，DeepSeek v4 PRO 在配备 512GB 内存的 Mac Studio M3 Ultra 上使用 2 位量化运行良好，预填充速度达到 130 t/s，生成速度达到 13 t/s。
我在家运行了（更快的）DeepSeek V4 Pro
用户报告成功使用 ktransformers 在本地运行 DeepSeek V4 Pro 模型，并分享了在不同上下文深度下的详细基准测试结果，展示了改进的推理速度。
2台配备 512GB 内存的 M3 Ultra Mac Studio
硬件投入约 2.5 万美元。告诉我你们希望我在这两台设备上部署什么模型，我会协助测试。目前我已通过 Exo 后端跑通了 DeepSeek v3.2 Q8 版本；当前每台设备均在运行 GLM 5.1 Q4（正在排查为何 Exo 无法加载 Q8 版本）。静候社区完成 Kimi 2.6 针对 MLX/mmap 的优化适配。
我在家里跑了 DeepSeek V4 Pro
一名用户展示了如何使用修改版的 llama.cpp CUDA 仓库在本地工作站上成功运行 DeepSeek V4 Pro 模型，并分享了性能指标和硬件需求。
@Snixtp: DeepSeek V4 Flash 能否在单张 RTX Pro 6000 上运行？
antirez 已发布 DeepSeek V4 Flash 的 GGUF 量化版本，使该模型能够在单张 GPU（如 RTX Pro 6000）以及 128GB 以上内存的 Mac 上运行。量化文件已上传至 Hugging Face，并附有 DS4 推理引擎的使用说明。