标签
论文介绍了 Memorilla 记忆系统，该系统将整个文档集合压缩为 16 个与查询相关的记忆 token，并应用于冻结参数的大语言模型。在 FactKG 基准测试中，其准确率达到 84.33%，超过全上下文推理的 80.43%，同时使用的 token 数量减少 108 倍，在八个基准测试中的五个上超越了 Mem0 和 MemoRAG 等基线方法。
Periscope 提出一种无需训练的推理方法，将文本块排列在 K×K 网格上，并让冻结的语言模型针对局部跨度与跨步跨度进行查询，从而在上下文窗口之外恢复答案。在 LongBench v2 和 InfiniteBench 上，该方法以远低于全窗口读取的成本达到甚至超越全窗口读取的效果。借助将长文本读取替换为证据图，一个 27B 模型可在单张 80GB GPU 上读取 450 万 token 的上下文。
AdviSD 提出一种方法：由一个小型可训练的顾问模型，通过定向多轮自蒸馏来引导冻结的前沿 LLM 执行器，将基于结果的强化学习与以反馈为条件的自蒸馏相结合，后者有选择性地利用纠正信息。在 Qwen3-8B 顾问引导 Gemini 和 Claude 的实验中，BFCL-v3 和 EnvScaler 上取得了 4-6 分的提升，并表现出良好的跨域泛化能力。
LARA是一个研究项目和PyTorch库，使用低秩残差适配器为冻结的大型语言模型启用模块化、可组合的行为，允许高效的训练和推理时多种行为的融合。
本文表明，用于个性化冻结大语言模型的提示空间元学习在不同用户间无法迁移，因为元验证目标对用户与支持的对应关系在统计上不变，导致相比种子提示或控制组无显著改进。
本文审计了冻结的LLMs，以检查几何约束信息是如何编码的，以及它是否可用于生成、影响和引导，揭示了可解码性与可操作输出之间的差距。
TokenMem通过专用的交叉注意力通道向冻结的大语言模型注入知识，训练一个轻量的门控适配器（两阶段课程），以提升在反事实知识下的知识合规性，在反事实基准上实现了69-70%的知识合规率（KC），而传统RAG仅为20-52%。
Proprioceptive AI发布了Cygnus，这是一款为冻结的LLM配备自感知适配器的工具，通过gl(4,R)李代数读取内部隐藏状态以隔离暗模式，将Qwen-32B在ARC-Challenge上的分数从82.2%提升到94.97%，仅使用一张RTX 3090且无需重新训练。