efficient-serving

本文提出语义缓存蒸馏（SCD），一种带损失约束的框架，用紧凑的语义码替换原始KV缓存传输，在保持生成质量在oracle的5% F1内的同时，实现高达2.65倍的TTFT加速。