KARLA: 基于知识库增强检索的语言模型

arXiv cs.AI 论文
knowledge-augmented retrieval language-models factual-grounding transparency knowledge-base

摘要

KARLA 提出了一种方法，让大型语言模型在生成过程中查询知识库，从而无需重新训练即可更新事实知识，并提高透明度。实验表明，该方法在短文本和长文本生成中均提升了事实依据性。

arXiv:2606.26807v1 公告类型：新 摘要：我们提出了一种新方法，允许大型语言模型在生成令牌时自动从知识库中获取事实知识。这意味着：(1)~无需重新训练 LLM 即可更新 LLM 输出中的事实知识，(2)~LLM 输出中的事实可追溯到知识库，以提高透明度和可解释性，(3)~较小的模型可以达到与较大模型相同的事实准确性。我们的核心思想是训练模型生成特殊令牌，以触发对知识库的查询。我们的实验表明，我们的方法在短文本和长文本生成中均改善了事实依据性，并允许通过知识库编辑（而非参数更新）来实现事实修订。
查看原文
查看缓存全文

缓存时间: 2026/06/26 05:17 

# KARLA：基于知识库增强检索的语言模型
来源：https://arxiv.org/abs/2606.26807
查看 PDF（https://arxiv.org/pdf/2606.26807）

> **摘要：** 我们提出了一种新方法，使大语言模型（LLM）能够在生成 token 时自动从知识库中获取事实知识。这意味着：（1）LLM 输出中的事实知识可以在无需重新训练 LLM 的情况下进行更新；（2）LLM 输出中的事实可以追溯到知识库，从而实现透明性和可解释性；（3）较小的模型可以达到与较大模型相同的事实准确性。我们的核心思想是训练模型生成特殊 token，这些 token 会触发对知识库的查询。实验表明，我们的方法在短文本和长文本生成中均能改善事实依据，并且可以通过知识库编辑（而非参数更新）使事实修订生效。

## 提交历史

来自：Francois Crespin [查看邮箱](https://arxiv.org/show-email/d807e8f6/2606.26807) [通过 CCSD 代理] **[v1]** 2026年6月25日星期四 09:44:40 UTC（2,572 KB）

相似文章

LLM Wiki v2（16分钟阅读）

TLDR AI

本文介绍了一种利用LLM构建个人知识库的模式，为在大语言模型辅助下进行知识管理提供了结构化方法。