Qwen3.8-35B-A3B-Distill - 我们的首个MoE模型。Qwen3.8推理能力蒸馏至Qwen3.6-35B-A3B架构：总参数35B，激活参数约3B。ARC-Challenge测试得分从0.548提升至0.591。MMLU基准测试保持0.834分。训练数据部分来自我们的免费社区端点，感谢支持！权重及GGUF文件：https://t.co/tFPKBq1JUV

empero-ai/Qwen3.8-35B-A3B-Distill · Hugging Face

来源：https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#qwen38-35b-a3b

Qwen3.8-35B-A3B
由Empero开发 (https://empero.org/)

本仓库包含采用Hugging Face Transformers格式的模型权重与配置文件。这些组件兼容Hugging Face Transformers、vLLM、SGLang等支持Qwen3.6架构的标准运行环境。

Qwen3.8-35B-A3B是将Qwen3.8前沿模型蒸馏至Qwen3.6-35B-A3B混合专家架构的产物。学生模型基于我们内部Qwen3.8蒸馏数据集中的精选教师轨迹训练——这些覆盖数学、代码、通用推理、指令遵循及工具使用的密集思维链数据，在训练前经过质量过滤。目标是将前沿规模教师的推理能力迁移至这个稀疏的35B模型中，使其每个词元仅激活3B参数，并可在单张GPU上部署。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#highlights

核心特性

• 蒸馏思维链——每个回答开头都包含直接从Qwen3.8教师轨迹学习到的``代码块，而非模型自主生成的推理过程。
• 数学与代码重点——轨迹混合数据刻意侧重高难度数学与竞赛编程，这是该规模下蒸馏效果最显著的领域。
• 稀疏MoE效率——总参数35B，每个词元激活约3B；256个专家中每个词元路由8个。
• 注意力与专家层同步适配——我们的内部MoE训练管线同时更新注意力路径、路由专家层与共享专家层，而非仅调整注意力模块。
• 原生函数调用——遵循Qwen3.6规范实现，无需封装器或工具特定微调。
• 262,144词元原生上下文——继承自Qwen3.6基础架构。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#model-overview

模型概览

• 类型：因果语言模型（视觉语言基础模型的文本路径）
• 基础模型：Qwen/Qwen3.6-35B-A3B (https://huggingface.co/Qwen/Qwen3.6-35B-A3B)
• 参数量：总参数35B / 每词元激活约3B
• 架构：40层，256个专家，每词元8个专家，混合线性+全注意力机制
• 训练方式：基于精选教师轨迹的SFT（离策略蒸馏），采用内部MoE训练管线
• 教师模型：Qwen3.8 2.4T A95B与Qwen3.8 Flash Next（内部蒸馏数据集）
• 上下文长度：原生支持262,144词元

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#benchmark-results

基准测试结果
使用lm-evaluation-harness (https://github.com/EleutherAI/lm-evaluation-harness)测量，采用Hugging Face后端、bfloat16精度，基础模型与学生模型设置及随机种子一致。零样本对数似然评分。

MMLU差异在噪声范围内（每项测量标准误差为0.003），而ARC的提升显著超出误差范围。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#quickstart

快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "empero-ai/Qwen3.8-35B-A3B-Distilled"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "一只蜗牛在10米深的井底，每天白天爬3米，夜晚下滑2米，需要多少天才能爬出井口？"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=16384, temperature=0.6, top_p=0.95, top_k=20, do_sample=True)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

需要最新版transformers以支持Qwen3.6架构，并需安装Gated DeltaNet内核（flash-linear-attention (https://github.com/fla-org/flash-linear-attention)与CUDA匹配的causal_conv1d (https://github.com/Dao-AILab/causal-conv1d)）——否则线性注意力层将回退到缓慢的PyTorch操作并占用大量内存。

AutoModelForCausalLM加载文本路径（34.7B参数）。视觉模块保留在检查点中，可通过AutoModelForImageTextToText访问。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#best-practices

最佳实践

• 采样设置：temperature=0.6, top_p=0.95, top_k=20。对此类推理模型而言，长文本生成时使用贪婪解码会导致重复循环故障。
• 输出长度：建议设置较大的max_new_tokens（推荐16,384）；每个回答都以``代码块开头，可为最终用户解析并去除该段落。
• 能力范围：模型从教师轨迹学习而非自主推理——继承了教师的推理风格，包括在简单问题上可能出现的过长思考过程。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#limitations

局限性

• 响应较短——学生模型基于8,192词元样本训练，生成内容明显短于基础模型。长思维链更易被截断，因此在长文本生成和长上下文任务中的表现可能逊于基础模型。
• v2版本正在训练——将支持更长上下文，专门针对上述问题。
• 视觉能力未调整——本次微调仅涉及文本；视觉能力继承自基础模型，未进行评估。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#stay-in-the-loop

保持关注
在**empero.org (https://empero.org/)**注册Empero通讯，获取发布信息、评估报告和研究笔记。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#support–donate

支持与捐赠
若本模型对您有帮助，欢迎支持项目：

• BTC：bc1qx6zepu6sfkvshgdmc4ewu6pk6rpadvpgffpp7v
• LTC：ltc1qv2mefzps2vtjcpwfx8xxdrpplrcvltswm68r7x

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#provenance–licensing

来源与许可
权重在Apache-2.0协议下发布，继承自Qwen3.6-35B-A3B基础模型。仅供研究与实验用途，按现状提供。

https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill#acknowledgements

致谢

• 由Empero开发并发布 (https://empero.org/)
• 基础模型：Qwen3.6-35B-A3B (https://huggingface.co/Qwen/Qwen3.6-35B-A3B)（阿里云Qwen团队）
• 教师模型：Qwen3.8 2.4T A95B与Qwen3.8 Flash Next
• 训练工具：TRL (https://github.com/huggingface/trl) + Transformers (https://github.com/huggingface/transformers)
• 线性注意力内核：flash-linear-attention (https://github.com/fla-org/flash-linear-attention)、causal_conv1d (https://github.com/Dao-AILab/causal-conv1d)
• 评估工具：lm-evaluation-harness (https://github.com/EleutherAI/lm-evaluation-harness)（EleutherAI）
• 感谢所有使用免费社区端点的用户——生成本模型合成训练数据的部分提示词来自这些交互。