@antirez: DeepSeek v4 PRO 通过SSD流式传输在我的128GB MacBook m5 max上运行。1.6万亿参数。

X AI KOLs Timeline 2026/06/04 14:05 模型

deepseek v4-pro ssd-streaming large-language-model local-inference macbook 1-6-trillion-parameters

摘要

DeepSeek v4 PRO，一个拥有1.6万亿参数的模型，通过SSD流式传输在128GB MacBook m5 max上运行，展示了本地运行大规模模型的能力。

DeepSeek v4 PRO 通过SSD流式传输在我的128GB MacBook m5 max上运行。1.6万亿参数。https://t.co/rokyvu16Ut

查看原文

查看缓存全文

缓存时间: 2026/06/05 09:10

DeepSeek v4 PRO 通过 SSD 流式运行在我的 128GB MacBook m5 max 上。1.6 万亿参数。https://t.co/rokyvu16Ut

相似文章

Reddit r/LocalLLaMA

一位开发者展示了 Mference，这是一个新的推理引擎，通过从 SSD 流式加载专家，仅用约 5.3GB 内存即可运行 MoE 模型（如 DeepSeek-V4-Flash），并配有原生 Mac 应用和兼容 OpenAI 的服务器。

Reddit r/LocalLLaMA

介绍如何在配备 96GB 内存的 Mac M3 Max 上，使用 Antirez 的 ds4 引擎和 SSD 流式传输运行 DeepSeek 4 flash，实现约每秒 12 token 的推理速度。

X AI KOLs Timeline

Antirez 报告称，DeepSeek v4 PRO 在配备 512GB 内存的 Mac Studio M3 Ultra 上使用 2 位量化运行良好，预填充速度达到 130 t/s，生成速度达到 13 t/s。

X AI KOLs Timeline

这条推文强调了 DeepSeek-V4-Flash 在 Mac M5 Pro 上以每秒 5.71 个 token 的速率运行，突显了消费级硬件上本地 AI 推理的进步，并提到了腾讯的开源 Palm-Infra 用于 Apple Silicon 优化。

Reddit r/LocalLLaMA

用户报告成功使用 ktransformers 在本地运行 DeepSeek V4 Pro 模型，并分享了在不同上下文深度下的详细基准测试结果，展示了改进的推理速度。