Qwen3.8-Flash-Next. 一旦权重发布,这个架构可能会出人意料地适合本地运行。 👀

Reddit r/LocalLLaMA 模型

摘要

本文提供了Qwen3.8-Flash-Next模型的内存估计,表明通过量化技术,它可能适合本地运行。

Qwen3.8-Flash-Next (~125B-A6B + 51B n-gram) 内存估计:理想的4位量化 ≈ 82 GB(58 GB主权重 + 24 GB n-gram表)实际量化可能在80–90 GB范围内。大型n-gram表访问稀疏 → 非常适合系统内存卸载。一旦权重发布,这个架构可能会出人意料地适合本地运行。
查看原文

相似文章

Qwen/Qwen3.8-Flash-Next-FP8

Hugging Face Models Trending

本文发布了Qwen3.8-Flash-Next模型的FP8量化权重,介绍了如混合注意力机制(Hybrid Attention with QSA)、门控残差(Gated Residual)和N-gram嵌入(N-gram Embedding)等架构创新,以提高大型语言模型的效率。

Qwen3.8-Flash-Next 针对 Mac 优化版

Reddit r/LocalLLaMA

本文详细介绍了在 Mac M1 Max 硬件上运行 Qwen3.8-Flash-Next AI 模型的自定义优化,包括 SSD 流、自定义量化和稀疏注意力机制,以提升性能。

Qwen3.8-Flash-Next

Simon Willison's Blog

Qwen 发布了 Qwen3.8-Flash-Next,这是一款开放权重的多模态 MoE 模型,拥有 125B tokens,但只有 6B 活跃参数,提供了性能提升,并作为 Qwen4 架构的早期预览。