标签
ZCube是一种新的网络架构，通过打平拓扑并混合单/多轨接入，优化了长上下文和PD分离场景下的KV Cache传输，在GLM-5.1生产集群中实现了交换机/光模块成本降低33%、GPU推理吞吐提升15%、TTFT P99下降40.6%。
本文介绍了ZCube，一种由Z.ai、Harnets.AI和清华大学提出的新型网络架构，用于解决Prefill-Decode分离式LLM推理集群中由拓扑引起的拥塞问题。在GLM-5.1编码工作负载的生产部署中，网络CapEx降低了33%，吞吐量提升了15%，TTFT P99延迟降低了40.6%。