depth-division

本文介绍了CoMem，一种利用LLM中深度方向分工的方法，它缓存中间残差张量，并且仅重新计算上层以进行检索，从而实现有界的读取计算和内存，与存储的上下文长度无关。在Qwen3-8B上评估，CoMem在长上下文任务上取得了强劲性能，同时显著节省内存并加速预填充。