标签
AbridgeKV 训练模型，将已生成完毕的思维链文本块压缩到少量学习得到的暂停 token 的 KV 条目中，在仅使用完整 KV 预算四分之一的情况下，实现缓存缩小至原来的 1/3.5，并在满负载 H100 上将解码速度提升至 3.2 倍，且准确率无损。