context-distillation

本文将上下文蒸馏表述为一个潜在记忆管理问题，提出一个框架，将蒸馏后的上下文存储为独立的LoRA适配器，并通过检索、路由和自门控机制来提高鲁棒性和效率。