Qwen3.8-Flash-Next. 一旦权重发布,这个架构可能会出人意料地适合本地运行。 👀
摘要
本文提供了Qwen3.8-Flash-Next模型的内存估计,表明通过量化技术,它可能适合本地运行。
Qwen3.8-Flash-Next (~125B-A6B + 51B n-gram) 内存估计:理想的4位量化 ≈ 82 GB(58 GB主权重 + 24 GB n-gram表)实际量化可能在80–90 GB范围内。大型n-gram表访问稀疏 → 非常适合系统内存卸载。一旦权重发布,这个架构可能会出人意料地适合本地运行。
相似文章
Qwen3.8-Flash-Next: 一种新架构,迈向极致成本效率
Qwen3.8-Flash-Next 引入了一种新的人工智能架构,专注于实现模型性能的极致成本效率。
Qwen/Qwen3.8-Flash-Next-FP8
本文发布了Qwen3.8-Flash-Next模型的FP8量化权重,介绍了如混合注意力机制(Hybrid Attention with QSA)、门控残差(Gated Residual)和N-gram嵌入(N-gram Embedding)等架构创新,以提高大型语言模型的效率。
Qwen3.8-Flash-Next 针对 Mac 优化版
本文详细介绍了在 Mac M1 Max 硬件上运行 Qwen3.8-Flash-Next AI 模型的自定义优化,包括 SSD 流、自定义量化和稀疏注意力机制,以提升性能。
Qwen3.8-Flash-Next
Qwen 发布了 Qwen3.8-Flash-Next,这是一款开放权重的多模态 MoE 模型,拥有 125B tokens,但只有 6B 活跃参数,提供了性能提升,并作为 Qwen4 架构的早期预览。
在6GB显存和16GB系统内存上运行Qwen 3.8 flash next的体验
一位用户分享了在配备6GB显存和16GB内存的系统上使用llama.cpp运行Qwen 3.8 flash next模型的体验,通过1位量化实现了6-7个每秒的生成速度,并寻求量化变体的推荐。