使用 braindead-local-intelligence 轻松体验本地 AI

# Solene'%：使用 braindead-local-intelligence 轻松体验本地 AI 来源：https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html 由*Solène*撰写，发表于 2026 年 11 月 01 日\. 标签：\#ai (https://dataswamp.org/~solene/tag-ai.html)\#linux (https://dataswamp.org/~solene/tag-linux.html)\#selfhosting (https://dataswamp.org/~solene/tag-selfhosting.html)\#containers (https://dataswamp.org/~solene/tag-containers.html) ## 目录 - 1\.引言 (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Introduction) - 2\.功能介绍 (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_What_it_does) - 3\.要求 (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Requirements) - 4\.入门 (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Getting_started) - 5\.使用 (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Usage) - 6\.结语 (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Conclusion) ## 1\. 引言§ (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Introduction) 我想找到一种简单的方法，在需要做实验时，在自己的电脑上尝试本地 AI，包括一个可以聊天的大语言模型 \(支持网页搜索和图像识别\)，以及一个可以生成或修改图像的模型\. 大多数指南都要求安装一大堆东西，还要从成千上万个文件中挑选模型，所以我做了一个小项目，替我完成这些工作\. braindead\-local\-intelligence 项目页面 (https://git.coopix.eu/public/braindead-local-intelligence) 这个名字是个蹩脚的双关语：“braindead”是因为你只要启动它就能尝试，不需要费什么脑子；“local intelligence”则是因为它在你自己的电脑上运行某种“智能” :\) 在这篇博文中，我会介绍这个项目，以及如何开始使用它\. ## 2\. 功能介绍§ (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_What_it_does) 这个项目使用 podman 运行几个容器：一个兼容 OpenAI API 的大语言模型服务器、一个图像生成服务器、用于网页搜索的 SearXNG，以及作为网页界面的 Open WebUI\. 所有服务都通过同一个地址访问，如果你需要将其开放给外部服务，还可以使用令牌进行保护\. 我非常喜欢的一项功能是，你不必在大语言模型和图像模型之间二选一，也不必手动切换\. 内存中每次只加载一个模型，请求到来时会加载相应的模型，如果几分钟内没有收到任何请求，就会将其卸载，这样在你不使用时，GPU 显存就又空出来了\. 文档中列出了一些开箱即用的模型，针对人们家中常见的硬件和不同需求进行了挑选：小型文本模型、能够理解图像的模型、图像生成模型，以及两个能够修改现有图像的模型\. 更换模型只需复制一段配置，然后重启，客户端无需做任何更改\. 推荐模型列表 (https://git.coopix.eu/public/braindead-local-intelligence/src/branch/main/docs/models.md) ## 3\. 要求§ (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Requirements) 软件方面，你只需要一个 Linux 系统，以及以 rootless 模式运行的 podman 5\.0 或更新版本 \(所有服务都以你自己的用户身份运行，不涉及 root 用户\)\. 这个项目目前面向 AMD 显卡，从未在 NVIDIA 显卡上测试过，因为我没有 NVIDIA 显卡\. 硬件方面，你仍然需要一块带有一定显存 \(VRAM\) 的 GPU，测试这些模型时使用的显存最高为 12 GB，同时还需要内存，因为最大的模型有一部分会在内存中运行\. 这份列表应该能让你在没有高性能游戏电脑的情况下尝试一些东西，不过最小的模型也需要大约 4 GB 显存和 8 GB 内存\. 我用的是一台 2021 年自己组装的电脑，配备 32 GB 内存和一块 Radeon RX 6700 XT \(于 2021 年 1 月发布\)，它现在依然很好用\. ## 4\. 入门§ (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Getting_started) 项目有自己的文档，不过下面是主要步骤\. 你的用户需要能够访问 GPU，并加入`render`和`video`组，然后注销并重新登录： `` sudo usermod -aG render,video $USER `` 在项目目录中安装并检查一切是否正常，第二条命令应该会列出你的 AMD 显卡： `` bin/ia install ia doctor `` 复制粘贴这些命令后，模型会被下载到`~/\.local/share/ia\-locale/models`，默认模型的大小约为 8 GB\. 然后启动服务，下载所有运行时所需的容器可能需要几分钟： `` ia start `` 命令`ia info`会显示地址、令牌，以及在兼容 OpenAI API 的客户端中使用的模型名称\. ## 5\. 使用§ (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Usage) 最简单的使用方式是通过 http://127\.0\.0\.1:3000 上的 Open WebUI 网页界面，该地址只能从本机访问\. 你可以聊天、发送图片，也可以通过输入框中的`\+`菜单启用网页搜索或图像生成\. 到目前为止，我使用 Qwen3\.6 35B\-A3B 得到了不错的结果，配合网页搜索，它表现得相当好\. 不过速度很慢，它会在回答前“思考”，而且由于一半模型在内存中运行，生成回答可能需要几分钟，但它确实是在本地运行的\. 一个配备网页搜索的 35B 模型已经足够聪明，能够收集并“理解”信息，无需事先掌握一切，也不必提供过时的信息\. 我还将它与 Camille 搭配使用，这是一个在朋友社区中使用的 Mattermost 机器人，被 @ 时就会回复\. 每个人都可以根据自己的喜好配置它，使用自己选择的模型，它会根据请求是文本还是图像，使用两个不同的模型\. Mistral 提供免费的 API，可以让它使用 ministral，不过这个模型有点太笨了，但如果你只是想试试，也还不错\. Camille GitHub 页面 (https://github.com/jtremesay/camille/) ## 6\. 结语§ (https://dataswamp.org/~solene/2026-11-01-braindead-local-intelligence.html#_Conclusion) 不要期待奇迹，它的速度很慢，而且在计算生成回复时，你的电脑会发热，风扇也会变得吵闹\. 它始终会与作为服务提供的大语言模型相差甚远，后者使用先进得多的模型，上下文窗口 \(模型一次能够处理的文本量\) 也远大于你在家中能够运行的规模\. 即使花费数万欧元或美元，也无法接近那种水平\. 但这是体验本地 AI、了解自己硬件能力的一种不错方式，而且除了网页搜索，没有任何内容会离开你的电脑\. 尽管小模型的回答可能显得很笨，它们仍然可以用于某些任务，例如，如果你只需要它理解上下文并回答`是`或`否`，就可以很好地将其集成到 CI 中，或者用来过滤本地垃圾邮件\. 如果你能运行 35B 模型，就能尝试更多有趣的事情\.