disaggregated-serving

vLLM 宣布通过其 V1 连接器接口集成 TileRT 的解码引擎，允许用户将 vLLM 预填充与专为低延迟优化的解码引擎配对，适用于智能体和实时助手等工作负载，且无需对 vLLM 做任何修改。

KVServe是一个服务感知框架，用于分离式LLM服务中的自适应KV缓存压缩，实现了高达9倍的作业完成时间加速和32倍的首Token时间降低。