semantic-compression

SeKV是一种分辨率自适应的KV缓存方法，它将上下文组织成基于熵引导的语义片段，并存储在GPU-CPU层级结构中，从而在解码过程中实现选择性Token级重建，同时在128K上下文下相比全缓存减少53.3%的GPU内存占用。

提议将语义压缩视为一种扩散噪声函数，用于处理超出模型窗口的庞大上下文，采用多遍读取并以递减的压缩级别进行。未经训练模型的实验表明，各组件在隔离状态下工作良好，但完整链条需要训练来解决绑定瓶颈。

介绍SimpleMem，一种面向LLM智能体的高效记忆框架，利用语义无损压缩提升准确率并降低token消耗，F1分数提升26.4%，推理时token使用量减少高达30倍。