@MinLiBuilds：本周，我花费 80 GPU 小时对 Qwen 3.8 Flash Next 125B 进行了三轮测试。我测试了 7 种量化权重……

X AI KOLs Timeline 新闻
model-benchmark quantization inference gpu hardware qwen open-weights

摘要

@MinLiBuilds 花费 80 GPU 小时对 Qwen 3.8 Flash Next 125B 进行三轮测试，评估 7 种量化权重并给出针对不同显卡的部署建议，同时介绍能将 125B 模型塞入消费级显存的 Strata 推理框架。

本周，我花费 80 GPU 小时对 Qwen 3.8 Flash Next 125B 进行了三轮测试。 我测试了 7 种量化权重，并给出了相应的部署建议： 4090 48G：UD-IQ4_XS / UD-Q4_K_XL 5090 / 5080：GSQ-RCO IQ3_S 8G/12G/16G 显卡：ISTA IQ2_XS > ISTA Q2_0 > Swift 1.5 IQ2_XS > Swift 1.5 Q2_0 这是一个超级有趣的模型——既强大又庞大。 它甚至比最热门的 Qwen 3.8 27B -Dense 还要强。 🔥 全新的推理框架 Strata 让每个部件都发挥作用——GPU、CPU、内存、硬盘、主板总线——成功地将这个原本不可能塞进去的 125B 模型塞进了消费级显存中。 详细测试帖子见下方串文 👇
查看原文
查看缓存全文

缓存时间: 2026/10/10 10:47

本周，我花了 80 GPU 小时，对 Qwen 3.8 Flash Next 125B 进行了三轮测试。

我测试了 7 种量化权重，并提供了相应的部署建议： 4090 48G：UD-IQ4_XS / UD-Q4_K_XL

5090 5080：GSQ-RCO IQ3_S

8G/12G/16G 显卡：ISTA IQ2_XS > ISTA Q2_0 > Swift 1.5 IQ2_XS > Swift 1.5 Q2_0

这是一个超有趣的模型——强大且庞大。

甚至比最热门的 Qwen 3.8 27B Dense 还要强。

🔥 全新推理框架 Strata 让每个环节都发挥作用——GPU、CPU、内存、磁盘、主板总线——成功将根本塞不进消费级显存的 125B 模型硬是塞了进去。

详细测试帖子见下方 👇

质量之王： UD-Q4_K_XL UD-IQ4_XS GSQ-RCO IQ3_S

速度强者： UD-IQ4_XS UD-Q4_K_XL

2bit 最佳选择：

Swift 1.5 Q2_0 Swift 1.5 IQ2_XS ISTA Q2_0 ISTA IQ2_XS

你对并发有要求么？是时候加一些内存了。

我推荐 iq4，不过你的内存在临界点，可以跑 GSQ-RCO IQ3_S

太好了，有更新我会跟进。

ISTA IQ2_XS 可以跑，编程 25/30，IQ4 是 28/30 具体可以使用 256K 上下文，实测一下速度

内存量够大的话，可以试试测速。我建议 iQ4 和 GSQ-RCO IQ3_S——这两个值得尝试。

如果 GSQ-RCO 能出 iQ4_S 就太好了。

内存有点少，可以跟进一下最新的，看看能不能有二级缓存

实测一下，关键是 ctx 长度，速度应该不会太慢

相似文章

@MinLiBuilds: https://x.com/MinLiBuilds/status/2107988055101685781

X AI KOLs Timeline

作者分享用 Strata 把 125B-A6B 的 Qwen3.8-Flash-Next 部署到 12GB 显存（RTX 5070）并达到近 100 tok/s 的完整攻略，并让蚂蚁新出的 Ling-3.1-flash Agent 从零自动完成检查机器、下载、安装、排错与测速的全流程。