kv-cache-contamination

本文识别出KV缓存污染是对话中激活引导的一种失败模式，并提出了GCAD方法，该方法从提示贡献中提取引导信号，并应用词元级门控来改进长程连贯性，在多轮基准上取得了显著提升。