标签
介绍语义压缩树（SCT）用于检索增强生成（RAG）中的分层知识检索，展示了在令牌使用上的效率提升，但与扁平方法相比检索性能表现不一。
SeKV是一种分辨率自适应的KV缓存方法，它将上下文组织成基于熵引导的语义片段，并存储在GPU-CPU层级结构中，从而在解码过程中实现选择性Token级重建，同时在128K上下文下相比全缓存减少53.3%的GPU内存占用。
提议将语义压缩视为一种扩散噪声函数，用于处理超出模型窗口的庞大上下文，采用多遍读取并以递减的压缩级别进行。未经训练模型的实验表明，各组件在隔离状态下工作良好，但完整链条需要训练来解决绑定瓶颈。
介绍SimpleMem，一种面向LLM智能体的高效记忆框架，利用语义无损压缩提升准确率并降低token消耗，F1分数提升26.4%，推理时token使用量减少高达30倍。