@aehyok:我的天哪,兄弟们,这个开源项目 Strata 简直逆天了,真的逆天。一张 RTX 5070 12G…
摘要
一条社交媒体帖子热情推荐开源项目 Strata,称其可在消费级硬件上运行 Qwen3.8-Flash-Next MoE 模型(总参数 125B,激活参数约 6B),在 RTX 5070 12GB、Ryzen 5 7600 处理器和 64GB 内存的配置下,量化版本可达 94 tok/s 的响应速度。
查看缓存全文
缓存时间: 2026/10/05 23:38
家人们,这个开源项目 Strata 简直强到离谱,真的,离谱到没朋友。
一张 RTX 5070,12G 显存 搭配 Ryzen 5 7600 处理器 64GB 内存
就这样一台游戏 PC,把 Qwen3.8-Flash-Next 跑得热得冒烟 量化版的响应速度直接干到 94 tok/s
要知道,Qwen3.8-Flash-Next 可是个大模型 MoE 稀疏混合专家架构 总参数 125B,激活参数仅 6B
真的,太炸裂了。感兴趣的老铁们赶紧去试试、去看看。
开源项目链接:
AI少年 (@aeheyok): 赶在牛来(Ox Alpha)未来之前,Qwen3.8-Flash-Next 重磅提前发布。
看截图,仅三项跑分没有超过 Deepseek v4-flash 或 Claude-Opus 4.6(max)!
1、Qwen3.8-Flash-Next 作为 Qwen4 架构预览版。 2、原生多模态 MoE 3、参数 125B 的主模型,每 Token 仅激活约 6B 4、额外挂载 51B N-gram
相似文章
@Lonely__MH:我勒个去?!真的有这么牛?据说靠着"MoE 异构并行",你用 12G 显存就能跑 125B 的 Qwen3.8-Flash-Next,速度还能超过……
Strata 是一款开源工具,借助 MoE 异构并行技术,可在显存仅 12GB 的游戏 PC 上本地运行 1250 亿参数的 Qwen3.8-Flash-Next 模型,在 NVIDIA RTX 5070 和 AMD RX 9070 XT 显卡上速度可达 60-94 tokens/s 以上。该项目宣称支持在 Windows 和 Linux 上使用 NVIDIA 和 AMD 显卡进行完全本地化的私密推理。
@Oluwaphilemon1: 在12GB RTX 5070上运行的Qwen3.8-Flash-Next速度只有15 tok/s,显然这不够好。所以与其买更大的G…
一位用户构建了一个名为Strata的开源推理引擎,用于优化Qwen3.8-Flash-Next在普通硬件上的运行,将速度从最初的15 tok/s提升到了最高65.1 tok/s。
@daluoseo:这个项目简直太牛了,仅用 12GB 显存就能运行 Qwen 3.8 Flash 的 128B 版本,速度最高可达…
Strata 是一个免费的开源项目,能够在普通游戏 PC 上以仅 12GB 显存本地运行参数规模达 128B 的 Qwen3.8-Flash-Next 模型,在 NVIDIA 和 AMD GPU 上通过激进的量化技术,实现了最高约 96 tokens/s 的速度。
@coldniko:在 8GB+ AMD 显卡 RX 7900 XTX 上运行 Qwen3.8-Flash-next,模型可持续输出 52-60 tokens/s + 1250 …
Strata 是一款开源工具,可通过量化在消费级游戏 PC 上运行拥有 1250 亿参数的 Qwen3.8-Flash-Next 模型,在 AMD RX 7900 XTX 上实现 52-60 tokens/s,在 RTX 5070 上实现 60-95 tokens/s,并通过 k8v4 等 KV Cache 优化额外提速 10%。
在消费级硬件(RTX 4090)上以 100 tokens/s 运行 Qwen 3.8 Flash Next(125B)
Strata 是一个免费开源的推理引擎,可在 RTX 4090 等消费级显卡(12GB+ 显存)上本地运行 Qwen3.8-Flash-Next(125B)模型,写入速度约 100 tokens/s,且支持 Windows/Linux 和 NVIDIA/AMD 显卡。