标签
本文介绍了无权重微调（WFT），一种无需训练的解码时方法，通过logit空间传输近似监督微调效果，以不到7%的计算量实现了具有竞争力的个性化性能。
Hard-KV 引入了级联缓存层次结构和 Logits 校准机制，以解决头部自适应 KV 缓存压缩中的静态-动态不匹配问题，在长上下文 LLM 推理中实现了高达 2 倍的吞吐量提升。