标签
本文介绍了QV-PIC，一种查询感知的双分辨率位置无关缓存框架，用于高效的RAG服务，相比朴素渲染图像PIC，F1值提升21.6个点，同时相对于完整预填充将首令牌时间降低83.8%。
本文提出了Kara，一种滑动窗口KV缓存压缩方法，用于高效服务推理型大语言模型。该方法通过使用双向注意力和Token2Chunk模块，解决了现有压缩技术中的局限性。该方法被集成到基于vLLM构建的KvLLM推理框架中，在保持性能的同时提高了输出吞吐量。
TurboServe 是一个专为流式视频生成工作负载设计的服务系统，采用在线调度方法，协调会话放置和 GPU 资源分配，以降低延迟和成本。
本文提出语义缓存蒸馏（SCD），一种带损失约束的框架，用紧凑的语义码替换原始KV缓存传输，在保持生成质量在oracle的5% F1内的同时，实现高达2.65倍的TTFT加速。