@hasantoxr: 我在自己的笔记本电脑上搭建了一个RAG系统，绝不会向OpenAI发送一个字节。100%离线。100%开源。以下是……

我在自己的笔记本电脑上构建了一个 RAG 系统，从未向 OpenAI 发送过一个字节。

100% 离线。100% 开源。

以下是完整的 6 步构建过程，通俗易懂：

首先，什么是 RAG？

它意味着让 AI 访问你自己的文件。

与其问 ChatGPT 并希望它知道答案，不如让它指向你的 PDF、笔记和邮件。它会读取这些内容，然后根据你的资料来回答。

与“与你的 PDF 对话“是同一个概念，但它运行在你的笔记本电脑上，且没有数据离开你的机器。

第 1 步：安装 Ollama。

这是在你笔记本电脑上运行 AI 模型的引擎。

你只需下载一次。适用于 Mac、Windows 和 Linux。免费。无需注册。

它叫 Ollama。可以把它想象成 AI 模型的 Spotify。你选择一个模型，它就直接运行。

第 2 步：下载一个模型。

打开终端并输入：

ollama pull llama3.1

就这样。你现在有一个真正的 AI 模型在你的笔记本电脑上运行。没有 OpenAI。没有互联网。没有 API 密钥。

Llama 3.1 是 Meta 的开源模型。免费。好用。在大多数 8GB 以上内存的笔记本电脑上都能运行。

第 3 步：安装 AnythingLLM。

这是一个为你完成繁重 RAG 工作的应用。

你可以拖入你的 PDF、Word 文档、笔记和网站。它会读取它们。它会记住它们。你可以与它们对话。

它叫 AnythingLLM。100% 开源。

第 4 步：将 AnythingLLM 连接到 Ollama。

在 AnythingLLM 中，进入设置。选择“Ollama“作为你的 AI 提供者。选择你下载的模型。

完成。你的私人 ChatGPT 现在已经连上了。

AI 在本地运行。文件保留在本地。没有任何内容被上传到任何地方。

第 5 步：放入你的文件。

拖放即可。PDF、Word 文档、Markdown、CSV、网站，甚至是 YouTube 转录。

AnythingLLM 会将它们切分成可搜索的片段，并存储在你的机器上。

你可以将 10,000 个文档放进去。在几秒钟内搜索其中任何一个。

第 6 步：向它提问。

现在你可以问类似这样的问题：

→ “我的医生对化验结果说了什么？” → “总结第 47 页的合同。” → “找出客户提到截止日期的所有邮件。”

它会从你的文件中提取相关部分，并附上来源进行回答。

完整的工具栈：

→ Ollama（运行 AI） → Llama 3.1（AI 本身） → AnythingLLM（界面 + RAG）

3 个工具。全部免费。全部开源。全部在你的笔记本电脑上运行。

没有订阅。没有数据发送给 OpenAI、谷歌或其他任何人。

你的笔记本电脑完成所有工作。如果你有一台 4GB 的老机器，较小的模型仍然可以运行，但会很慢。

8GB 内存是最低要求。16GB 是最佳选择。M 系列 Mac 或任何现代 PC 都能很好地工作。

这就是唯一的成本。你现有的那台机器。

感谢阅读。