@coldniko:在 8GB+ AMD 显卡 RX 7900 XTX 上运行 Qwen3.8-Flash-next,模型可持续输出 52-60 tokens/s + 1250 …
摘要
Strata 是一款开源工具,可通过量化在消费级游戏 PC 上运行拥有 1250 亿参数的 Qwen3.8-Flash-Next 模型,在 AMD RX 7900 XTX 上实现 52-60 tokens/s,在 RTX 5070 上实现 60-95 tokens/s,并通过 k8v4 等 KV Cache 优化额外提速 10%。
查看缓存全文
缓存时间: 2026/09/30 16:11
Strata
在普通游戏 PC 上运行 1250 亿参数的 AI 模型 一块显卡(NVIDIA,12–24 GB 显存)+ 64 GB 内存 · Windows 或 Linux · 一键安装
在 RTX 5070 上使用 Strata(IQ3_S,128K 上下文)运行一段单次提示生成的体素宝塔园林 · 完整视频(49 秒)
Strata 应用的 Monitor 界面(左),右侧是编码智能体根据视频中的内容编写这座宝塔园林
相似文章
在消费级硬件(RTX 4090)上以 100 tokens/s 运行 Qwen 3.8 Flash Next(125B)
Strata 是一个免费开源的推理引擎,可在 RTX 4090 等消费级显卡(12GB+ 显存)上本地运行 Qwen3.8-Flash-Next(125B)模型,写入速度约 100 tokens/s,且支持 Windows/Linux 和 NVIDIA/AMD 显卡。
@Oluwaphilemon1: 在12GB RTX 5070上运行的Qwen3.8-Flash-Next速度只有15 tok/s,显然这不够好。所以与其买更大的G…
一位用户构建了一个名为Strata的开源推理引擎,用于优化Qwen3.8-Flash-Next在普通硬件上的运行,将速度从最初的15 tok/s提升到了最高65.1 tok/s。
Qwen3.8-Flash-Next 在单张96 GB显卡上支持170K上下文窗口,速度约110 tokens/秒。
本文介绍了一种使用量化n-gram运行Qwen3.8-Flash-Next模型的方法,可在单张96GB显卡上实现超过17万token的上下文长度。通过INT4量化技术配合内存映射磁盘访问,处理速度最高可达每秒110个token。
@daluoseo:这个项目简直太牛了,仅用 12GB 显存就能运行 Qwen 3.8 Flash 的 128B 版本,速度最高可达…
Strata 是一个免费的开源项目,能够在普通游戏 PC 上以仅 12GB 显存本地运行参数规模达 128B 的 Qwen3.8-Flash-Next 模型,在 NVIDIA 和 AMD GPU 上通过激进的量化技术,实现了最高约 96 tokens/s 的速度。
@aehyok:我的天哪,兄弟们,这个开源项目 Strata 简直逆天了,真的逆天。一张 RTX 5070 12G…
一条社交媒体帖子热情推荐开源项目 Strata,称其可在消费级硬件上运行 Qwen3.8-Flash-Next MoE 模型(总参数 125B,激活参数约 6B),在 RTX 5070 12GB、Ryzen 5 7600 处理器和 64GB 内存的配置下,量化版本可达 94 tok/s 的响应速度。