标签
ExFold是一个统一的无训练框架，通过将被排除专家的贡献折叠到保留专家中，加速MoE模型推理，实现高达1.41倍的加速，同时保持高质量。
基于客户模式，讨论大规模LLM服务中预填充-解码分离的微妙现实，并在AMD + vLLM上进行了验证。
ZCube是一种新的网络架构，通过打平拓扑并混合单/多轨接入，优化了长上下文和PD分离场景下的KV Cache传输，在GLM-5.1生产集群中实现了交换机/光模块成本降低33%、GPU推理吞吐提升15%、TTFT P99下降40.6%。
研究者提出“预填充即服务”（PrfaaS），将长上下文预填充卸载到远程计算密集型集群，并通过普通以太网流式传输 KVCache，实现独立扩缩容，使 1T 参数混合模型吞吐提升 32–54%。