load-balancing

本文提出φ-平衡，一种面向混合专家模型中负载平衡的理论框架，直接针对总体层面专家平衡，利用凸对偶和镜像下降，实现更稳定的专家利用率，并在推理和代码生成基准上超越先前方法。

一份实用的蓝图，用于设计能够处理100万并发用户的后端系统，涵盖架构决策如语言选择、负载均衡、数据库分片、多层缓存及弹性模式。

MACS是一个无需训练的推理框架，通过引入熵加权负载和动态模态自适应容量机制，减轻多模态MoE MLLMs在专家并行中的落后效应。