@danveloper: 简直不敢相信，我竟然在树莓派 5（8GB 版）上以超过1 tok/s的速度运行了 DeepSeek-V4-Flash（284B 参数）……

X AI KOLs Timeline 新闻
raspberry-pi deepseek edge-inference low-power gguf model-deployment

摘要

一位开发者经过大量实验，成功在树莓派 5 上以超过1 tok/s的速度运行了284B参数的DeepSeek-V4-Flash模型，使用的是来自 antirez 的未经修改的 GGUF 文件。

我简直不敢相信这居然能行，但我成功在树莓派 5（8GB 版）上以 >1 tok/s 的速度（全速推理时功耗约8W）运行了 DeepSeek-V4-Flash（284B 参数）！使用的是 @antirez 的未经修改的 GGUF 文件。花费了5天时间，在 GPT-5.5 xhigh 和 Opus 4.8 max 之间进行了160多次实验。https://t.co/RAJjNZg44Z
查看原文
查看缓存全文

缓存时间: 2026/06/02 17:35

真不敢相信这居然能行——我让 DeepSeek-V4-Flash（284B 参数）在树莓派 5（8GB 版）上跑起来了，全速推理时速度 >1 tok/s，功耗仅 ~8W！用的是 @antirez 的 GGUF 未修改版。花了 5 天时间，在 GPT-5.5 xhigh 和 Opus 4.8 max 之间做了 160 多次实验。https://t.co/RAJjNZg44Z

相似文章

@danveloper: https://x.com/danveloper/status/2064387956387758206

X AI KOLs Timeline

一位开发者通过在NVMe SSD上流式传输模型权重，在树莓派5上运行了DeepSeek-V4-Flash，达到了1.3 tokens/秒的速率，功耗仅8瓦，证明了前沿级别的开放权重模型在低成本、离线硬件上的可行性。

DeepSeek-v4-Flash-Mini 54GB GGUF 运行速度约 20.5 t/s

Reddit r/LocalLLaMA

一个社区构建将 DeepSeek-V4-Flash 压缩为 54GB 的 IQ2_XXS GGUF 变体，采用激进的 2 位量化，在本地硬件上实现了约 20.5 tokens/s 的速度，同时大幅降低了显存/内存占用。

DeepSeek-V4-Flash-0731 unsloth gguf 在 A100 上

Reddit r/LocalLLaMA

展示了 DeepSeek-V4-Flash-0731 在单块 40GB A100 上以 unsloth GGUF 量化版本运行，速度为 17.7 tok/s，并将 6 个专家加载到显存中，从而实现了完整的智能体编码循环。