disaggregated-inference

标签

Cards List
#disaggregated-inference

Cerebras 推出解耦式推理(阅读时长 6 分钟)

TLDR AI ↗ · 4天前 缓存

Cerebras 在生产环境中推出分离式推理,将用于提示词预填充的 GPU 与用于解码的晶圆级引擎(Wafer Scale Engine)相结合,以超快速度实现每兆瓦 5 倍的 token 产出,满足激增的智能体推理需求。

0 人收藏 0 人点赞
#disaggregated-inference

基于推送的 KV 传输:在 vLLM 分离式推理中提升 TTFT 和 TPOT 性能(11 分钟阅读)

TLDR AI ↗ · 2026-10-20 缓存

AWS 在 vLLM 中引入了基于推送的 NIXL 连接器,将 KV 缓存传输协调从分离式预填充-解码推理的关键路径上移开,在配备 EFA 的 EC2 P5en 实例上实现了最高 3 倍的 TTFT 提升和 30% 的 TPOT 优化。

0 人收藏 0 人点赞
#disaggregated-inference

在 vLLM 分离式推理中通过基于推送的 KV 传输提升 TTFT 与 TPOT(阅读约 15 分钟)

TLDR AI ↗ · 2026-10-15 缓存

vLLM 推出基于推送(push-based)的 NIXL KV 缓存传输机制,将传输协调与准备工作移出关键路径,在分离式预填充/解码推理中最高可将 TTFT 改善 3 倍、TPOT 改善 30%。该功能在 AWS Trainium/EFA 集群上开发验证后,作为加速器无关特性贡献给 vLLM。

0 人收藏 0 人点赞
#disaggregated-inference

Topology-Aware Data Movement for Disaggregated GPU Inference

arXiv cs.LG ↗ · 2026-08-03 缓存

This paper presents a topology-aware data movement orchestrator for disaggregated LLM inference, which dynamically selects optimal transport based on interconnect hierarchy and overlaps KV cache transfer with computation, achieving 3-18x transfer latency reduction over uniform RDMA.

0 人收藏 0 人点赞
#disaggregated-inference

AMD与Cerebras推出AI推理解决方案(10分钟阅读)

TLDR AI ↗ · 2026-07-24 缓存

AMD与Cerebras宣布联合推出AI推理解决方案,该方案将AMD Helios机架级解决方案与Cerebras晶圆级引擎相结合,旨在实现超低延迟和高吞吐量。这种解耦式推理工作流预计每瓦每秒可处理的token数量提升高达5倍。

0 人收藏 0 人点赞
#disaggregated-inference

分解推理中的无政府代价

Hugging Face Daily Papers ↗ · 2026-06-11 缓存

本文对分解推理架构进行了博弈论分析,该架构将预填充和解码阶段分离到不同的 GPU 池中,揭示了 GPU 饱和如何影响性能。作者提出了一种自适应控制器,可实时检测饱和状态转换并调整路由参数,在 NVIDIA B200 集群的实验中将无政府代价显著降低。

0 人收藏 0 人点赞
#disaggregated-inference

语义缓存蒸馏:通过重用与选择性修补实现高效状态转移

arXiv cs.LG ↗ · 2026-06-09 缓存

本文提出语义缓存蒸馏(SCD),一种带损失约束的框架,用紧凑的语义码替换原始KV缓存传输,在保持生成质量在oracle的5% F1内的同时,实现高达2.65倍的TTFT加速。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈