论文页面 - 内部放松，跨域平衡：面向视觉-语言混合专家模型的多模态几何引导负载均衡

来源：https://huggingface.co/papers/2608.00574 这项工作的起点是若干路由现象，我们认为它们可能不止对 ReBA 本身有用。

首先，混合均衡可能掩盖了大规模模态特有的不均衡。 标准的 token 级辅助损失只观测组合后的图像–文本负载。因此，图像和文本可能各自发展出强烈且相互对立的专家偏好，在某种训练组合比例下恰好相互抵消。路由器在特定的图像–文本比例下看似均衡，但当图像分辨率、图像数量、动态分块或提示长度发生变化时，这种抵消就会被打破。

其次，对组合比例变化的敏感性由图像–文本负载差距所控制。 当条件图像和文本路由分布固定时，专家负载随图像 token 占比变化的曲线恰好是二次的。两种模态分布之间的差距越大，曲线越陡峭，低负载区域越窄。这说明仅仅平衡某一种训练组合比例是不够的；模态特定的分布本身也必须被拉近到均衡状态。

第三，路由器输入的几何结构揭示了两种自然的路由边界。 图像和文本 token 占据路由器输入的不同区域，这使得模态特定的路由捷径易于学习。在视觉模态内部，同一图像的块形成了强相关的路由集团，而不同图像之间则保持可度量的分离。这表明视觉的自然均衡单位是图像，而非单个的块 token。

这些观察引出了 ReBA —— 内部放松，跨域平衡：

• 使用独立的模态目标来平衡图像和文本；
• 对每张图像内部的强相关路由决策进行平均；
• 在批次内均衡等权重的图像路由分布。

在四个分割视觉-语言混合专家（MoE）骨干网络上，ReBA 在保持平均任务精度相当的同时，持续降低了专家负载不均衡，并在图像分辨率、动态分块以及图像–文本组合比例变化下提升了鲁棒性。

💻 代码：https://github.com/ZiangWu-77/ReBA

我们尤其感兴趣的是，类似的模态和实例边界是否也会出现在其他原生多模态 MoE 中，以及这些路由现象如何能为未来的路由器目标提供指导。