load-balancing

介绍一个从零构建负载均衡器的学习路线，涵盖轮询、最少连接、一致性哈希等算法，以及健康检查间隔等实际陷阱。

GORGO 提出了一种用于LLM推理的代理架构，该架构通过在新的合成数据集上使用进化策略调优，联合优化网络延迟、预填充成本和排队延迟，将p95 TTFT降低了6.9-15.5%，端到端延迟降低了14.3-30.9%。

The article provides a detailed explanation of Mixture of Experts (MoE) in transformers, covering routing, load balancing, and recent innovations like fine-grained experts. It also highlights the significance of Noam Shazeer's research contributions and his move from Google to OpenAI.

本文提出φ-平衡，一种面向混合专家模型中负载平衡的理论框架，直接针对总体层面专家平衡，利用凸对偶和镜像下降，实现更稳定的专家利用率，并在推理和代码生成基准上超越先前方法。

一份实用的蓝图，用于设计能够处理100万并发用户的后端系统，涵盖架构决策如语言选择、负载均衡、数据库分片、多层缓存及弹性模式。

MACS是一个无需训练的推理框架，通过引入熵加权负载和动态模态自适应容量机制，减轻多模态MoE MLLMs在专家并行中的落后效应。