标签
Cerebras 在生产环境中推出分离式推理,将用于提示词预填充的 GPU 与用于解码的晶圆级引擎(Wafer Scale Engine)相结合,以超快速度实现每兆瓦 5 倍的 token 产出,满足激增的智能体推理需求。
AWS 在 vLLM 中引入了基于推送的 NIXL 连接器,将 KV 缓存传输协调从分离式预填充-解码推理的关键路径上移开,在配备 EFA 的 EC2 P5en 实例上实现了最高 3 倍的 TTFT 提升和 30% 的 TPOT 优化。
vLLM 推出基于推送(push-based)的 NIXL KV 缓存传输机制,将传输协调与准备工作移出关键路径,在分离式预填充/解码推理中最高可将 TTFT 改善 3 倍、TPOT 改善 30%。该功能在 AWS Trainium/EFA 集群上开发验证后,作为加速器无关特性贡献给 vLLM。
This paper presents a topology-aware data movement orchestrator for disaggregated LLM inference, which dynamically selects optimal transport based on interconnect hierarchy and overlaps KV cache transfer with computation, achieving 3-18x transfer latency reduction over uniform RDMA.
AMD与Cerebras宣布联合推出AI推理解决方案,该方案将AMD Helios机架级解决方案与Cerebras晶圆级引擎相结合,旨在实现超低延迟和高吞吐量。这种解耦式推理工作流预计每瓦每秒可处理的token数量提升高达5倍。
本文对分解推理架构进行了博弈论分析,该架构将预填充和解码阶段分离到不同的 GPU 池中,揭示了 GPU 饱和如何影响性能。作者提出了一种自适应控制器,可实时检测饱和状态转换并调整路由参数,在 NVIDIA B200 集群的实验中将无政府代价显著降低。
本文提出语义缓存蒸馏(SCD),一种带损失约束的框架,用紧凑的语义码替换原始KV缓存传输,在保持生成质量在oracle的5% F1内的同时,实现高达2.65倍的TTFT加速。