标签
一篇详细的技术文章，介绍把 M5 Ultra 256 GB 用于 prefill、M3 Ultra 512 GB 用于 decode 的配对方案：在 MLX 上运行 GLM-5.3-Flash，通过 Thunderbolt 5 RDMA 做分离式推理，将长 prompt 的首 token 延迟从约 40 秒降到约 18.5 秒。
从第一性原理出发，一步步讲解 LLM 推理中 prefill 与 decode 的实际工作原理，从 ChatGPT 式对话如何通过分词（tokenization）处理提示词、并以自回归方式生成 token 说起。
Eric Zhang 分享了一项稳态分析，认为 PD 分离主要改善的是 prefill 密集型负载的平均每 token 延迟（带来约 1/(decode 时间占比) 的交互性提升），而对于以 decode 为主、要求低延迟的推理场景基本没有必要——该结论已在生产环境中得到验证，同时也呼应了 Horace He 的观点：很少有人真正深入思考过 PD 分离与混合分块 prefill 的对比。
ExFold是一个统一的无训练框架，通过将被排除专家的贡献折叠到保留专家中，加速MoE模型推理，实现高达1.41倍的加速，同时保持高质量。
基于客户模式，讨论大规模LLM服务中预填充-解码分离的微妙现实，并在AMD + vLLM上进行了验证。
ZCube是一种新的网络架构，通过打平拓扑并混合单/多轨接入，优化了长上下文和PD分离场景下的KV Cache传输，在GLM-5.1生产集群中实现了交换机/光模块成本降低33%、GPU推理吞吐提升15%、TTFT P99下降40.6%。
研究者提出“预填充即服务”（PrfaaS），将长上下文预填充卸载到远程计算密集型集群，并通过普通以太网流式传输 KVCache，实现独立扩缩容，使 1T 参数混合模型吞吐提升 32–54%。