deepseek-v3-1

标签

Cards List
#deepseek-v3-1

更少专家,更快解码:面向混合专家模型的成本感知推测解码

arXiv cs.CL · 2026-07-15 缓存

本文提出EcoSpec,一种针对混合专家模型的成本感知推测解码框架,在草稿选择阶段考虑了专家激活成本。通过在无需修改目标模型验证规则的情况下减少专家足迹,该方法在DeepSeek-V3.1、Qwen3-235B-A22B和GPT-OSS-120B等大规模MoE模型上实现了高达1.62倍的加速。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈