标签
本文分析了来自Chutes的一年生产追踪数据，以研究LLM服务负载，揭示时间演化和用户-模型交互，以改进服务系统基准测试。
一篇关于LLM中混合专家架构的技术综述，沿着专家粒度、拓扑、路由、负载均衡和执行来组织演进，并提出了架构里程碑和控制平面的互补视角。
本文提出了EasyBalance，一种用于分布式混合专家（MoE）推理的跨层负载均衡策略。该策略在不修改专家-设备映射的情况下，调度并联合执行来自不同层的工作负载，以减少GPU空闲时间。实验表明，该策略可将空闲时间减少40%以上。
The paper presents a two-level algorithm for allocating a conserved capacity budget across locations and service classes, proving it conserves the budget and converges in one iteration, and evaluates it for defending CDNs under volumetric attack.
Matt Godbolt 解释了 Compiler Explorer 在 2026 年如何运行在 AWS 上，涵盖 CloudFront、负载均衡、自动扩展集群以及使用 Terraform 的基础设施即代码。
本文提出 ReBA（Relax Within, Balance Across），一种面向视觉-语言混合专家模型的几何引导负载均衡方法。该方法通过分别平衡图像和文本标记，并对相关的视觉标记进行分组，来解决特定模态的路由不平衡问题，从而提升在不同分辨率和组合变化下的鲁棒性。
FVAttn是一种无需训练的稀疏注意力系统，利用运行时负载均衡提升多GPU序列并行下自适应稀疏注意力的分布式执行效率。在基于步骤蒸馏的Wan2.2 I2V上，相比于FlashAttention，注意力速度提升最高达4.41倍，推理速度提升2.11倍，同时保持有竞争力的视频质量。
介绍一个从零构建负载均衡器的学习路线，涵盖轮询、最少连接、一致性哈希等算法，以及健康检查间隔等实际陷阱。
GORGO 提出了一种用于LLM推理的代理架构，该架构通过在新的合成数据集上使用进化策略调优，联合优化网络延迟、预填充成本和排队延迟，将p95 TTFT降低了6.9-15.5%，端到端延迟降低了14.3-30.9%。
The article provides a detailed explanation of Mixture of Experts (MoE) in transformers, covering routing, load balancing, and recent innovations like fine-grained experts. It also highlights the significance of Noam Shazeer's research contributions and his move from Google to OpenAI.
本文提出φ-平衡，一种面向混合专家模型中负载平衡的理论框架，直接针对总体层面专家平衡，利用凸对偶和镜像下降，实现更稳定的专家利用率，并在推理和代码生成基准上超越先前方法。
一份实用的蓝图，用于设计能够处理100万并发用户的后端系统，涵盖架构决策如语言选择、负载均衡、数据库分片、多层缓存及弹性模式。
MACS是一个无需训练的推理框架，通过引入熵加权负载和动态模态自适应容量机制，减轻多模态MoE MLLMs在专家并行中的落后效应。