标签
本文探讨了生产环境AI智能体中上下文压缩与提示缓存之间的权衡，提出使用子代理作为策略，以保持缓存效率并减少上下文污染。
一篇新论文介绍了 COMPINT，一个评估套件，表明上下文压缩器会静默丢弃会话约束，平均仅保留 17%。一个简单的 SC 感知提取器无需修改压缩器或模型即可恢复超过 90% 的保留率。
本文介绍了 CompInt，一个用于评估 LLM 系统中上下文压缩在多大程度上保留用户发出的会话约束的评测套件。研究发现，当前的压缩器平均仅保留 17% 的约束，并提出了一种 SC 感知的提取器，在不修改压缩器或 LLM 的情况下实现了超过 90% 的保留率。
一位开发者测试了一个 GitHub 热门项目，该项目针对上下文压缩后的智能体恢复问题；结果发现，在对话记录之外保留持久化账本是有帮助的，但仍需要更严格的验收测试，以确认确切的交付步骤和用户约束得以保留。
介绍了用于长时间范围LLM智能体的并行上下文压缩，实现了对摘要量的细粒度控制，并相比多个骨干模型上的顺序同步压缩，降低了端到端延迟。