Qwen3.8-23B-Mini-Me: 深度剪枝的 Qwen3.8-27B (至约22.7B)
摘要
StargazerLabs 在 Hugging Face 上发布了 Qwen3.8-27B 模型的深度剪枝版本,命名为 Mini-Me,提供 bf16、8bit 和 4bit 量化版本。
查看缓存全文
缓存时间: 2026/08/20 00:45
Mini-Me - StargazerLabs 集合
来源:https://huggingface.co/collections/StargazerLabs/mini-me 更新于约4小时前
开源权重模型的精简版本
投票- (https://huggingface.co/login?next=%2Fcollections%2FStargazerLabs%2Fmini-me)
- — #### StargazerLabs/Qwen3.8-23B-Mini-Me-bf16 图像文本转文本• 23B• 更新于约4小时前 (https://huggingface.co/StargazerLabs/Qwen3.8-23B-Mini-Me-bf16)
- — #### StargazerLabs/Qwen3.8-23B-Mini-Me-8bit 图像文本转文本• 7B• 更新于约4小时前 (https://huggingface.co/StargazerLabs/Qwen3.8-23B-Mini-Me-8bit)
- — #### StargazerLabs/Qwen3.8-23B-Mini-Me-4bit 图像文本转文本• 4B• 更新于约4小时前 • 1 (https://huggingface.co/StargazerLabs/Qwen3.8-23B-Mini-Me-4bit)
相似文章
Qwen/Qwen3.6-35B-A3B-FP8
阿里巴巴发布了Qwen3.6-35B-A3B-FP8,这是Qwen3.6的开源权重量化变体,拥有35B参数,通过MoE激活3B,具有改进的智能编码能力和保持思维链的迭代开发特性。
Qwen/Qwen3.6-27B-FP8
阿里巴巴发布 Qwen3.6-27B-FP8,一款 27B 参数的 FP8 量化模型,在代理式编码与推理基准上表现强劲,现已上架 Hugging Face。
Qwen 3.6 27B 在 DeepSWE 上的表现
Qwen 3.6 27B 在 DeepSWE 基准测试中获得了 2% 的分数,排名 18/20,高于 Haiku 4.5 和 Minimax M2.7,突显了本地模型与前沿模型之间的差距。
Qwen 3.6 27B 30GB 相同 top p: 98.358 ± 0.033 % vs UD Q8 K XL 33GB 相同 top p: 97.426 ± 0.041 %
一位社区研究员分享了为Qwen3.6-27B定制的量化方案,通过将高异常值子层保留为BF16格式,生成体积更小的30GB Q8 GGUF模型,在KLD和top-p指标上优于Unsloth的33GB Q8_K_XL变体。
Qwen 27B 3.8 量化:极限在哪里?
一位用户分享了在 Mac mini M4 上使用 Unsloth 的 Q3 XXS 量化版本运行 Qwen 27B 3.8 的积极体验,并询问他人对低于 Q3 量化版本的使用感受。