depth-prefill

本文详细介绍了在4台GB10的配置上，使用100G交换机运行GLM 5.2，在330k上下文下实现约25 tok/s解码和约650 tok/s预填充。内容包括硬件成本、使用Depth Prefill的性能基准测试，以及关于为更长上下文进行模型剪枝的说明。