标签
来自阿里巴巴/Qwen和北京大学的研究人员提出了TMEM——一种自进化参数化记忆框架。该框架利用在线LoRA权重更新，使LLM智能体能够在单个回合内真正从经验中学习，而非仅依赖提示空间中的记忆。TMEM在多个基准测试（包括LoCoMo、LongMemEval-S和CL-Bench）上均优于基于摘要和基于检索的基线方法。
本文介绍了Spectral Souping，这是一种通过发现通用谱表示来高效对齐LLM与个体用户偏好的框架，该表示能在推理时合并专门策略，无需昂贵的重新训练。
OjaKV 引入了一种上下文感知的在线低秩KV缓存压缩框架，该框架利用混合存储策略和Oja算法进行增量子空间自适应，以减少长上下文大语言模型推理中的GPU内存瓶颈，且无需模型微调。