论文页面 - 聚焦关键之处：面向扩散MoE的显著性引导精确路由

来源：https://huggingface.co/papers/2606.26938

摘要

SharpMoE 通过利用干净潜特征引导显著令牌识别，解决了扩散模型中的路由效率问题，并采用轨迹路由损失在多步去噪过程中实现精确的计算资源分配。

混合专家（https://huggingface.co/papers?q=Mixture-of-Experts）（MoE）架构已成为扩展扩散模型（https://huggingface.co/papers?q=diffusion%20models）在视觉生成（https://huggingface.co/papers?q=visual%20generation）领域的有力范式。近年来的进展集中在自适应地为不同令牌分配计算资源，以提升效率与性能。然而，我们指出现有扩散MoE框架中存在一个路由分配（https://huggingface.co/papers?q=routing%20assignment）问题：路由器无法准确地将更多计算资源分配给显著令牌（https://huggingface.co/papers?q=salient%20tokens）。我们的分析将这一失败归因于路由器在整个去噪过程（https://huggingface.co/papers?q=denoising%20process）中依赖受噪声污染的潜特征（https://huggingface.co/papers?q=latent%20features）。这种随机噪声掩盖了关键的结构与纹理信息，从而阻碍路由器有效区分显著令牌（https://huggingface.co/papers?q=salient%20tokens）。为解决此问题，我们提出 SharpMoE——一种后训练框架（https://huggingface.co/papers?q=post-training%20framework），采用显著性引导的精确路由机制，利用干净潜特征（https://huggingface.co/papers?q=latent%20features）作为无噪声的引导信号进行路由。通过绕过噪声扭曲的输入，SharpMoE 为路由器提供了清晰的显著性指导，使其即使在高噪声阶段也能识别显著令牌（https://huggingface.co/papers?q=salient%20tokens）。此外，我们引入了一种轨迹路由损失（https://huggingface.co/papers?q=trajectory%20routing%20loss），以约束整个多步去噪轨迹中的计算分配（https://huggingface.co/papers?q=compute%20allocation），确保沿生成展开过程的精确资源分配。大量实验表明，SharpMoE 是一种通用的即插即用解决方案，能够进一步增强预训练、已收敛的 MoE 模型，在视觉生成（https://huggingface.co/papers?q=visual%20generation）领域达到最新最佳性能。

查看 arXiv 页面（https://arxiv.org/abs/2606.26938） 查看 PDF（https://arxiv.org/pdf/2606.26938） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.26938）

将本论文添加到您的智能体中：

hf papers read 2606.26938

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型

无

尚未有模型关联本论文

请在模型的 README.md 中引用 arxiv.org/abs/2606.26938 以关联本页面。

引用本论文的数据集

无

尚未有数据集关联本论文

请在数据集的 README.md 中引用 arxiv.org/abs/2606.26938 以关联本页面。

引用本论文的 Spaces

无

尚未有 Space 关联本论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2606.26938 以关联本页面。

包含本论文的收藏集

无

尚未有收藏集包含本论文

请将本论文添加到一个收藏集（https://huggingface.co/new-collection）中以关联本页面。