论文页面 - 突破均匀性陷阱：通过SplitMoE扩展视频扩散模型

来源：https://huggingface.co/papers/2609.38140
发布于9月29日

·

由https://huggingface.co/YUXU915提交

Yu Xu (https://huggingface.co/YUXU915)于9月30日

摘要

混合专家模型（MoE）因大型语言模型的推广而流行，是扩展视觉生成模型的一种有前景的范式。然而，传统的token级MoE在同构专家池中独立路由token，并正则化专家使用以趋向均匀性，这使其难以适配具有时空冗余性和语义长尾分布的视频数据。我们发现现有视觉MoE陷入了“均匀性陷阱“：语义组织不足的路由机制，加上均匀的专家使用正则化，将连贯的图像块分散到不同专家中，导致路由碎片化和结构失真。为解决这一问题，我们提出SplitMoE——一种打破均匀性束缚的角色分离稀疏架构。为适应固有的语义不平衡，我们明确将专家池划分为语义专家和通用专家，其中语义专家捕捉高层语义抽象，通用专家保留残差视觉信息与灵活生成能力。借助原型引导路由与拉推正则化，SplitMoE使token能依据语义属性自然聚类，而非受限于任意平衡约束。大量实验表明，在相同激活参数预算下，SplitMoE在收敛速度、路由连贯性和视频生成质量上均优于传统负载平衡MoE，各项标准基准测试均表现优异。通过揭示涌现的由粗到细去噪逻辑，SplitMoE为社区提供了一种模态感知的扩展路径，为构建大规模视频世界模型提供了关键参考。

查看arXiv页面 (https://arxiv.org/abs/2609.38140)查看PDF (https://arxiv.org/pdf/2609.38140)项目页面 (https://yuci-gpt.github.io/SplitMoE/)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.38140)

通过智能体获取此论文：
hf papers read 2609\.38140

没有最新CLI？运行：curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型链接本文
在模型README.md中引用arxiv.org/abs/2609.38140以从此页面建立链接

引用本文的数据集 0

暂无数据集链接本文
在数据集README.md中引用arxiv.org/abs/2609.38140以从此页面建立链接

引用本文的空间应用 0

暂无空间应用链接本文
在空间应用README.md中引用arxiv.org/abs/2609.38140以从此页面建立链接

包含本文的收藏夹 0

暂无收藏夹收录本文
将本文添加至收藏夹 (https://huggingface.co/new-collection)以从此页面建立链接