混合专家解码的通道选择无需校准数据

Hugging Face Daily Papers 论文
mixture-of-experts inference-optimization channel-selection model-compression llm-serving top-k quantization

摘要

该论文表明，使用 top-k 选择代替经校准的阈值时，MoE 通道选择器无需离线校准数据；同时提出了一种由权重推导的读取器（三值草图 + 低秩映射），仅需读取 17.8% 的路由专家权重即可保持 98.1% 的准确率，并使 MoE 模块相较于优化后的 vLLM 实现 1.60–2.69 倍加速。

混合专家（MoE）模型在小批量交互式解码时，性能瓶颈在于从内存中加载路由专家的权重。由于路由专家中的大多数中间通道对任何单个词元的贡献都很小，通道选择器会预测哪些通道重要，并仅读取这些通道的权重，通常保留得分高于基于离线数据校准的阈值的通道。我们表明，通道选择无需校准数据。首先，经过校准的阈值并不能固定选择器的读取量，因为超过阈值的通道数量会随输入而变化；将阈值按 18% 的读取预算校准后，Prox 在我们的各项基准测试中的实际平均读取比例仅为 12.9%。其次，top-k 为每个词元保留得分最高的 k 个通道，无需任何校准数据。在校准所对应的预算下，在读取预算为 13% 和 18% 的共 43 项比较中，选择器的 top-k 版本有 40 项在同一评分指标上持平或优于其阈值版本，其中包括全部 23 项生成任务比较。top-k 版本还避免了校准阈值在 Gemma 4 上引发的重复循环崩溃。因此，校准阈值无法提供选择器使用它所期望获得的两项保证：已知的读取预算，以及在该预算下稳定的准确率提升。此外，我们提出了一种完全基于模型权重构建的读取器，它利用三值草图筛选通道，并通过低秩映射恢复被跳过的通道。在三个经过后训练的 MoE 模型上，我们的读取器仅需读取 17.8% 的路由专家权重，即可保留完整模型准确率的 98.1%；在相同的三个模型上，使用 Triton 内核执行 MoE 模块时，批量大小为 1 时的运行速度为优化后的 vLLM 的 1.60 至 1.90 倍，更大批量下最高可达 2.69 倍。
查看原文
查看缓存全文

缓存时间: 2026/10/28 05:26

论文页面 - 混合专家解码的通道选择无需校准数据

来源：https://huggingface.co/papers/2610.37386

摘要

Prox 以 top-k 通道选择和由权重构建的读取器替代经过校准的阈值，在保持准确率的同时加速混合专家推理\。

混合专家 (https://huggingface.co/papers?q=Mixture-of-Experts)(MoE (https://huggingface.co/papers?q=MoE)) 模型在小批量交互式解码时的瓶颈在于从内存加载路由专家权重 (https://huggingface.co/papers?q=routed-expert%20weights)\。由于路由专家中的大多数中间通道对任一单独词元的贡献都很小，通道选择器 (https://huggingface.co/papers?q=channel%20selectors)会预测哪些通道重要，并仅读取其权重，通常保留得分高于某个阈值的通道，而该阈值使用离线数据进行校准\。我们表明，通道选择无需校准数据\。首先，经过校准的阈值并不能固定选择器的读取量，因为通过阈值的通道数量会随输入而变化；Prox (https://huggingface.co/papers?q=Prox)在阈值按 18% 的读取预算校准后，在我们的各项基准测试中实际平均仅读取 12.9%\。其次，top-k (https://huggingface.co/papers?q=top-k)保留每个词元得分最高的 k 个通道，无需校准数据\。在校准时设定的预算下，对于 13% 和 18% 预算下的 43 项比较，选择器的 top-k (https://huggingface.co/papers?q=top-k)版本在其中 40 项中使用相同评分时表现持平或优于其阈值版本，其中包括生成任务上的全部 23 项比较\。top-k (https://huggingface.co/papers?q=top-k)版本还避免了经过校准的阈值在 Gemma 4 上导致的重复循环崩溃\。因此，阈值校准并不能提供选择器使用阈值所要实现的两个目标中的任何一个：已知的读取预算，以及在该预算下稳定的准确率提升\。此外，我们提出了一种完全由模型权重构建的读取器，它使用三值草图 (https://huggingface.co/papers?q=ternary%20sketch)筛选通道，并通过低秩映射 (https://huggingface.co/papers?q=low-rank%20map)恢复被跳过的通道\。在三个经过后训练的 MoE (https://huggingface.co/papers?q=MoE)模型上，我们的读取器仅使用 17.8% 的路由专家读取量，便保留了完整模型准确率的 98.1%；在这三个模型上，Triton 内核 (https://huggingface.co/papers?q=Triton%20kernels)运行 MoE (https://huggingface.co/papers?q=MoE)模块的速度在批量大小为 1 时达到优化后的 vLLM (https://huggingface.co/papers?q=vLLM)的 1.60 至 1.90 倍，在更大批量下最高达到 2.69 倍\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.37386)查看 PDF (https://arxiv.org/pdf/2610.37386)GitHub1 (https://github.com/AidenGeunGeun/calibration-free-moe)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.37386)

在你的智能体中获取这篇论文：

hf papers read 2610\.37386

尚未安装最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.37386，即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.37386，即可从此页面链接到该数据集\。

引用这篇论文的 Spaces0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.37386，即可从此页面链接到该 Space\。

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集\。

相似文章

更少专家，更快解码：面向混合专家模型的成本感知推测解码

arXiv cs.CL

本文提出EcoSpec，一种针对混合专家模型的成本感知推测解码框架，在草稿选择阶段考虑了专家激活成本。通过在无需修改目标模型验证规则的情况下减少专家足迹，该方法在DeepSeek-V3.1、Qwen3-235B-A22B和GPT-OSS-120B等大规模MoE模型上实现了高达1.62倍的加速。

混合专家语言模型中机器遗忘的路由感知专家校准

arXiv cs.CL

论文提出TRACE，一种用于混合专家语言模型中机器遗忘的方法，通过重新加权词元级保留损失来校准保留正则化，以解决遗忘-保留路由不匹配问题。实验表明，在多个MoE大语言模型上改善了遗忘-效用权衡。