context-modeling

本文提出了多层级上下文融合MoE（MCF-MOE）框架，通过集成跨层语义聚合和局部词元级交互，提升了混合专家模型中的路由一致性，在语言建模和理解基准测试上优于强基线。