标签
Decoupled Mixture-of-Experts (DMoE) 提出了一种用于参数化知识注入的模块化架构，将专家和路由器从基础模型中解耦，以实现高效的自回归推理并缓解灾难性遗忘。
ToolSense 是一个开源诊断框架，能够生成三个基准测试（真实检索、多选题探测、问答探测），用于审计大语言模型的参数化工具知识，揭示了知识-检索分离现象：强大的检索性能可能与较差的事实理解共存。
本文探讨了强化学习能否在推理任务之外，进一步提升大型语言模型（LLM）对参数化知识的直接回忆能力。研究表明，通过二元奖励进行强化学习，可以通过重新分配概率质量来激活潜在知识，而非习得新事实，从而在事实性问答基准测试中取得显著提升。