@danveloper: 简直不敢相信，我竟然在树莓派 5（8GB 版）上以超过1 tok/s的速度运行了 DeepSeek-V4-Flash（284B 参数）……

X AI KOLs Timeline 新闻
raspberry-pi deepseek edge-inference low-power gguf model-deployment

摘要

一位开发者经过大量实验，成功在树莓派 5 上以超过1 tok/s的速度运行了284B参数的DeepSeek-V4-Flash模型，使用的是来自 antirez 的未经修改的 GGUF 文件。

我简直不敢相信这居然能行，但我成功在树莓派 5（8GB 版）上以 >1 tok/s 的速度（全速推理时功耗约8W）运行了 DeepSeek-V4-Flash（284B 参数）！使用的是 @antirez 的未经修改的 GGUF 文件。花费了5天时间，在 GPT-5.5 xhigh 和 Opus 4.8 max 之间进行了160多次实验。https://t.co/RAJjNZg44Z
查看原文
查看缓存全文

缓存时间: 2026/06/02 17:35

真不敢相信这居然能行——我让 DeepSeek-V4-Flash（284B 参数）在树莓派 5（8GB 版）上跑起来了，全速推理时速度 >1 tok/s，功耗仅 ~8W！用的是 @antirez 的 GGUF 未修改版。花了 5 天时间，在 GPT-5.5 xhigh 和 Opus 4.8 max 之间做了 160 多次实验。https://t.co/RAJjNZg44Z

相似文章

@danveloper: https://x.com/danveloper/status/2064387956387758206

X AI KOLs Timeline

一位开发者通过在NVMe SSD上流式传输模型权重，在树莓派5上运行了DeepSeek-V4-Flash，达到了1.3 tokens/秒的速率，功耗仅8瓦，证明了前沿级别的开放权重模型在低成本、离线硬件上的可行性。

antirez/deepseek-v4-gguf

Hugging Face Models Trending

Antirez发布了专门为DS4推理引擎优化的DeepSeek V4 Flash GGUF量化版本，针对不同内存大小提供了优化配置，使得这个大型MoE模型可以在本地运行。