[发布] Nexidion – 一个拥有自主本地AI后台工作器的私有知识库。

你好！经过近两年断断续续的开发、5次彻底重写架构，以及几次碰壁，我终于将为了满足自己的隐私偏执而构建的项目开源了：**Nexidion**。 **GitHub 仓库：** [https://github.com/HabermannR/Nexidion](https://github.com/HabermannR/Nexidion) 市面上有很多“第二大脑”应用，但我不想依赖第三方云服务，更不想把敏感笔记发送到封闭的 API。更重要的是，我不只是想要一个简单的聊天窗口附着在文本编辑器上。 ### 本地 LLM 角度：自主后台工作器 Nexidion 是一款层级化 Markdown 笔记应用，内置了一个可选的**自主后台工作器**，专门设计用来接入本地兼容 OpenAI 的端点（llama.cpp、Ollama、LM Studio 等）。它不仅仅是和你的笔记聊天，你可以选择一大批节点/文件夹，然后派遣这个代理去执行实际工作： * *“将这些杂乱的笔记按主题重新组织成层级文件夹。”* * *“总结这些子树。”* * *“从这些会议笔记中提取所有行动项。”* **安全网：** 让 LLM 自主组织你的笔记，如果它产生幻觉，后果会很可怕。因此，Nexidion 内置了版本控制系统。AI 在后台工作，并以 *AI 的名义* 将更改提交为新版本。每一次编辑都是完全可追溯的，如果你的本地模型把组织工作搞砸了，只需一键就能回退。没有数据库被破坏，零外部网络调用。 ### 我的“穷 GPU”配置（2080 Ti） 你不需要一台多 GPU 的大机器才能让这个代理发挥作用。我就是 GPU 贫穷用户，在单张 RTX 2080 Ti（11GB 显存）上运行。目前，我使用全新的 **Qwen 3.6 35B-A3B with MTP**（具体是 `IQ3_XXS` 量化版本），搭配 llama.cpp 服务器后端。它在代理任务上表现得相当不错！ 如果你也想在受限的显存上复现我的配置，下面是我用来在 2080 Ti 上塞进这个 35B 模型的具体 Docker 命令（使用了 flash attention、Q8 KV cache 和投机解码）： ```bash docker run --gpus all --rm \ -p 1234:1234 \ -v /mnt/c/.../models/unsloth/Qwen3.5-36B-A3B:/models \ havenoammo/llama:cuda12-server \ -m /models/Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf \ --port 1234 --host 0.0.0.0 \ -n -1 --parallel 1 --threads 6 \ --ctx-size 100000 --fit-target 844 \ --mmap -ngl 18 --flash-attn on \ --temp 1.0 --min-p 0.0 --top-p 0.95 --top-k 20 \ --jinja \ --chat-template-kwargs '{"preserve_thinking":true}' \ --ubatch-size 512 --batch-size 2048 \ --cache-type-k q8_0 --cache-type-v q8_0 \ --spec-type ngram-mod,draft-mtp \ --spec-draft-n-max 3 ``` ### 快速开始 我刚刚完成了所有组件的 Docker 化，所以启动 Postgres 数据库、后端、前端和 AI 任务运行器只需一条命令： ```bash docker compose --profile with-postgres --profile with-task-runner up -d ``` *（完整文档和设置说明在仓库中。）* 我很期待听到你的反馈！特别想听听本地 AI 社区的大家，后台代理在不同模型/量化版本下的表现如何，以及你发现哪些提示词对批量组织最有效。告诉我你的想法！