标签
一篇新论文介绍了 COMPINT，一个评估套件，表明上下文压缩器会静默丢弃会话约束，平均仅保留 17%。一个简单的 SC 感知提取器无需修改压缩器或模型即可恢复超过 90% 的保留率。
本文介绍了 CompInt，一个用于评估 LLM 系统中上下文压缩在多大程度上保留用户发出的会话约束的评测套件。研究发现，当前的压缩器平均仅保留 17% 的约束，并提出了一种 SC 感知的提取器，在不修改压缩器或 LLM 的情况下实现了超过 90% 的保留率。