Qwen 3.8 Flash Next 在普通手机上本地运行速度达3.5 tok/s

Reddit r/LocalLLaMA 2026/08/30 17:39 模型

ai-model mobile-inference optimization quantization android performance

摘要

证明 Qwen 3.8 Flash Next 可以在中端 Android 手机上以3.5 tok/s的速度本地运行，通过优化和低量化实现。

Qwen 3.8 Flash Next (80GB) 现在可以在12GB中端Android手机上达到3.5 tok/s，得益于一些优化和在密集部分的低量化。我不希望推广这个项目，只是想展示在400到500美元的手机上是可行的。

查看原文

相似文章

Reddit r/LocalLLaMA

本文提供了Qwen3.8-Flash-Next模型的内存估计，表明通过量化技术，它可能适合本地运行。

Reddit r/LocalLLaMA

本文介绍了一种使用量化n-gram运行Qwen3.8-Flash-Next模型的方法，可在单张96GB显卡上实现超过17万token的上下文长度。通过INT4量化技术配合内存映射磁盘访问，处理速度最高可达每秒110个token。

Reddit r/LocalLLaMA

一位用户分享了在配备6GB显存和16GB内存的系统上使用llama.cpp运行Qwen 3.8 flash next模型的体验，通过1位量化实现了6-7个每秒的生成速度，并寻求量化变体的推荐。

X AI KOLs Timeline

一位用户构建了一个名为Strata的开源推理引擎，用于优化Qwen3.8-Flash-Next在普通硬件上的运行，将速度从最初的15 tok/s提升到了最高65.1 tok/s。

Hacker News Top

Strata 是一个免费开源的推理引擎，可在 RTX 4090 等消费级显卡（12GB+ 显存）上本地运行 Qwen3.8-Flash-Next（125B）模型，写入速度约 100 tokens/s，且支持 Windows/Linux 和 NVIDIA/AMD 显卡。