标签
本文介绍了NameRank，一种衡量LLM如何从参数化知识中识别个体和产出的方法，发现模型对命名项目和方法的识别远好于对资历或贡献者的识别。
本文探索了跨语言提示策略，以改进对大语言模型中参数化知识的访问，并在涵盖17种语言的多语言基准测试中展示了知识迁移和事实召回方面的显著提升。
Decoupled Mixture-of-Experts (DMoE) 提出了一种用于参数化知识注入的模块化架构，将专家和路由器从基础模型中解耦，以实现高效的自回归推理并缓解灾难性遗忘。
ToolSense 是一个开源诊断框架，能够生成三个基准测试（真实检索、多选题探测、问答探测），用于审计大语言模型的参数化工具知识，揭示了知识-检索分离现象：强大的检索性能可能与较差的事实理解共存。
本文探讨了强化学习能否在推理任务之外，进一步提升大型语言模型（LLM）对参数化知识的直接回忆能力。研究表明，通过二元奖励进行强化学习，可以通过重新分配概率质量来激活潜在知识，而非习得新事实，从而在事实性问答基准测试中取得显著提升。