RAG 无法学习 —— Karpathy 的 LLM Wiki 彻底改变了知识范式

RAG（检索增强生成）有一个无人提及的致命缺陷：

它实际上从未真正“学习”任何东西。

每当你将文档上传到 AI 系统中时，相同的循环就会上演：

检索文本块 生成答案 丢弃综合结果 无限循环往复

模型听起来可能很智能。

但在底层，它在每次查询时都从零开始重建理解。

没有持久的综合。 没有不断演进的结构。 没有复利式的知识积累。

仅仅是在原始上下文窗口上进行临时推理。

这就是当今几乎所有“与文档对话”产品的上限。

NotebookLM。 PDF 聊天应用。 大多数企业 AI 助手。 甚至是 ChatGPT 的文件上传功能。

有用吗？

绝对有用。

但本质上是无状态的。

Andrej Karpathy 提出的“LLM Wiki”模式引入了一个更为重要的理念：

如果模型能够维持知识，而不是反复检索它，会怎样？

这种区别听起来微不足道。

但它彻底改变了架构。

系统不再将文档视为需要持续重新扫描的对象，而是在用户与原始来源之间构建了一个持久的 Wiki 层。

这不是嵌入索引。

而是一个不断演进的知识基底。

结构化的 Markdown 页面。 相互关联的概念。 实体映射。 摘要。 对比。 矛盾之处。 未解问题。 长期的综合结论。

最重要的是：

系统会随着时间的推移持续更新这一层级。

因此，当你添加新论文或转录稿时，模型不仅仅是“存储”它。

而是将其整合。

单篇文档可能： • 完善现有的摘要 • 修改实体页面 • 创建全新的概念链接 • 揭示不一致之处 • 加强或削弱之前的结论 • 更新整个系统的长期综合结论

这意味着知识库本身会产生复利效应。

这才是真正的突破。

因为传统的 RAG 没有对“理解”的记忆。

只有对“数据”的记忆。

LLM Wiki 颠覆了这一逻辑。

系统保留了综合后的理解本身。

这意味着未来的推理将变得大幅更便宜、更深邃，且具有更强的上下文感知能力。

这是最关键的部分：

知识系统的瓶颈从来不是智能。

而是维护。

人类创建的系统之所以衰退，是因为维护开销最终变得不堪重负。

链接断裂。 笔记碎片化。 矛盾堆积。 分类体系漂移。 上下文消失。

最终，维护系统的难度超过了重建系统的难度。

LLM 首次改变了这一等式。

它们使得持续的组织维护几乎零成本。

而一旦维护成本趋近于零，全新的知识架构就变得可行。

这具有巨大的影响。

持续演进的研究系统。 历经多年成熟发展的个人知识库。 不再每个季度重置、而是产生复利的公司记忆。 具备持久概念理解的 AI 协作者。 真正随时间发展出连贯性的“第二大脑”。

这就是为什么 Karpathy 的想法显得如此重要。

它将 AI 重新定义为：

从“按需检索信息”

转变为：

“持续构建并 refine（完善）理解。”

这一转变的意义比大多数人意识到的要大得多。

RAG 检索上下文。

LLM Wiki 积累知识。

这两者绝非同一回事。