标签
IAR 是一个三阶段后训练框架,将结构化文档知识内化到语言模型中,用于无检索问答,提升特定领域准确性和通用模型性能。
本文研究了将文档内化到LoRA适配器用于闭卷问答,发现一旦适配器容量足够,训练数据质量(尤其是答案简洁性)成为主导因素,其效果超过架构更改,并比BM25-RAG实现更高的准确率。