@The_Only_Signal: AI服务器与家庭实验室的设置正在迅速变成一个已解决的问题。每个人都应该有这种感觉。你不需要……

AI服务器和家庭实验室的搭建正在迅速成为一个已解决的问题。每个人都应该感受到这一点。你不需要从头开始，而且解决方案都是免费且开源的。https://t.co/CpUkD2qDFZ — # Light-Heart-Labs/DreamServer 来源：https://github.com/Light-Heart-Labs/DreamServer # Dream Server 将你的 PC、Mac 或 Linux 设备变成一台私密 AI 服务器。 AI服务器和家庭实验室的搭建正在迅速成为一个已解决的问题。每个人都应该感受到这一点。许可证：Apache 2.0 GitHub 星标 (https://github.com/Light-Heart-Labs/DreamServer/stargazers) 发布版 (https://github.com/Light-Heart-Labs/DreamServer/releases) 观看演示 (https://youtu.be/nO8xFNHX-HA) — Dream Server 安装并整合了你本地运行 AI 所需的一切，因此你无需手动组装 Ollama、Open WebUI、n8n、ComfyUI 和隐私工具： - 本地模型推理——在你的硬件上运行开源模型 - 类 ChatGPT 的 Web 界面——从任何浏览器与你的模型对话 - 控制面板——在一个地方管理模型、服务、设置、GPU 状态和扩展 - 语音、智能体和工作流——构建能够监听、说话、调用工具并完成任务的自动化 - RAG 和搜索——连接本地文档、私有搜索和检索工作流 - 图像生成——运行本地图像工具，无需向托管 API 发送提示词 - 隐私和运维——在一个本地栈中维护服务认证、密钥、可观测性和诊断 无需云端，无需订阅。你的提示词和数据保留在你的机器上，除非你选择另行设置。云和混合 API 模式可根据需要选择。 ## 快速开始 Linux 和 macOS： bash curl -fsSL https://raw.githubusercontent.com/Light-Heart-Labs/DreamServer/main/dream-server/get-dream-server.sh | bash Windows 用户应使用如下所示的 PowerShell 安装程序，或参考 Windows 快速入门。 安装后，打开 http://localhost:3000 并开始聊天。 > API 端点： Linux Docker 安装默认在 http://localhost:11434（OLLAMA_PORT）暴露 llama-server，而容器内部使用 llama-server:8080。macOS 原生 Metal 和 Windows 原生/Lemonade 路径默认使用 http://localhost:8080，除非被覆盖。Open WebUI 保持在 http://localhost:3000。 > 没有 GPU？ Dream Server 也可以在云模式下运行——相同的完整栈，由 OpenAI/Anthropic/Together API 驱动，而非本地推理： > bash > ./install.sh --cloud > > 端口冲突？ 每个端口都可通过环境变量配置。参见 .env.example 获取完整列表，或在安装时覆盖： > bash > WEBUI_PORT=9090 ./install.sh > Dream Server 控制面板 新手？ 阅读 友好指南 或收听音频版本 (https://open.spotify.com/episode/40MvqJ41bC8cEgvUyOyE3K) —— 完整了解 Dream Server 是什么、如何工作以及如何使其成为你自己的。无需技术背景。 — ## 概览 | 问题 | 答案 | |——|——| | 这是什么？ | 一个针对你自己的硬件的本地 AI 服务器栈，包含适用于 Linux/macOS 的一键安装程序和适用于 Windows 的 PowerShell 安装程序。 | | 适用人群？ | 希望在家、实验室或工作站上使用私密 AI，而无需手动拼凑十几个服务的人。 | | 我能得到什么？ | 本地推理、Open WebUI 聊天、控制面板、语音、智能体、工作流、RAG、搜索、图像生成、隐私工具、可观测性和开发者工具。 | | 支持哪些平台？ | Linux，带 WSL2/Docker Desktop 的 Windows，以及 macOS Apple Silicon。 | | 需要云端吗？ | 不需要。本地模式是默认设置；云和混合 API 模式为可选。 | | 如果你熟悉… | Dream Server 额外提供了… | |––––––––|–––––––––––| | Ollama / llama.cpp | 周边的服务器栈：聊天、控制面板、语音、RAG、工作流、智能体、隐私和服务管理。 | | Open WebUI | 围绕 Open WebUI 的完整安装程序和控制平面，以及预接线的本地服务。 | | AnythingLLM | 超出 RAG 的更广泛本地 AI 设备行为：推理、聊天、语音、工作流、图像生成和运维。 | | n8n 自托管 AI 入门套件 | 工作流自动化作为更大规模私有 AI 服务器的一部分。 | — > 当前平台支持 > > | 平台 | 状态 | > |——|——| > | Linux（NVIDIA + AMD + Intel Arc） | 已支持——现在即可安装运行 | > | Windows（NVIDIA + AMD） | 已支持——现在即可安装运行 | > | macOS（Apple Silicon） | 已支持——现在即可安装运行 | > > 经过测试的 Linux 发行版： Ubuntu 24.04/22.04, Debian 12, Linux Mint 21.3, Fedora 41+, Rocky Linux 9, Arch Linux, Manjaro, CachyOS 和 openSUSE Tumbleweed。其他使用 apt、dnf、pacman 或 zypper 的发行版也应能工作——如果不行，请开启一个工单 (https://github.com/Light-Heart-Labs/DreamServer/issues)。 > > 测试范围： CI 和 tower2 Docker 容器覆盖了广泛的发行版安装程序逻辑；tower2 Incus 虚拟机覆盖了 Ubuntu、Fedora/Rocky、Arch 和 openSUSE 上的 systemd + Docker 守护进程行为；真实硬件集群仍然是 NVIDIA/AMD/Apple GPU 运行时、控制面板、Hermes、UI 和能力验证的发布门禁。 > > Windows： 需要带 WSL2 后端的 Docker Desktop。NVIDIA GPU 使用 Docker GPU 直通；AMD Strix Halo 通过 Windows 安装程序和兼容性矩阵中说明的平台特定加速路径运行。 > > macOS： 需要 Apple Silicon（M1+）和 Docker Desktop。llama-server 在 Metal GPU 加速下原生运行；所有其他服务在 Docker 中运行。 > > 有关支持的平台声明，请参阅 兼容性矩阵；有关用于测试这些声明的分层测试面，请参阅 验证矩阵。 — ## 为什么选择 Dream Server？ 少数公司控制着全球绝大部分 AI 流量——同时控制着你的数据、你的成本和你的可用性。你发送给集中式提供商的每个查询都是你不拥有的商业智能，运行在你无法控制的基础设施上，以你无法商定的条件定价。如果 AI 正在成为关键基础设施，它就不应该被租用。自托管本地 AI 应该是一项主权人权，而不是一种职业选择。 因为运行你自己的 AI 不应该需要计算机科学学位和一个周末来调试 CUDA 驱动程序。 目前，设置本地 AI 意味着拼凑十几个项目，从头编写 Docker 配置，并祈祷一切都能相互通信。大多数人放弃并重新使用 OpenAI 的付费服务。 我们构建 Dream Server 就是为了让你不必如此。 - 一条命令——检测你的 GPU，选择合适的模型，生成凭据，启动所有服务 - 两分钟之内开始聊天——引导模式立即为你提供一个可用的模型，同时完整模型在后台下载 - 完整的服务栈，预接线——聊天、智能体、语音、工作流、搜索、RAG、图像生成、隐私工具、可观测性和开发者工具。开箱即用，全部相互通信 - 完全可修改——每个服务都是一个扩展。放入一个文件夹，运行 dream enable，完成 Dream Server 安装程序 DREAMGATE 安装程序处理一切——GPU 检测、模型选择、服务编排。 手动安装（Linux） bash git clone https://github.com/Light-Heart-Labs/DreamServer.git cd DreamServer/dream-server ./install.sh Windows（PowerShell） 需要 Docker Desktop (https://www.docker.com/products/docker-desktop/) 并启用 WSL2 后端。 首先安装 Docker Desktop 并确保它在运行，然后再开始。 打开普通的 PowerShell 会话并运行： powershell Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass git clone https://github.com/Light-Heart-Labs/DreamServer.git cd DreamServer .\install.ps1 > Set-ExecutionPolicy 命令允许安装程序脚本在当前会话中运行。它不会更改系统范围的策略。 > 不建议以管理员身份运行安装程序，因为用户级路径（如 .opencode、data/ 和 .env）可能会以管理员拥有的权限创建。安装程序会检测你的 GPU，选择合适的模型，生成凭据，启动所有服务，并创建控制面板的桌面快捷方式。使用 .\dream-server\installers\windows\dream.ps1 status 管理。 macOS（Apple Silicon） 需要 Apple Silicon（M1+）和 Docker Desktop (https://www.docker.com/products/docker-desktop/)。 首先安装 Docker Desktop 并确保它在运行，然后再开始。 bash git clone https://github.com/Light-Heart-Labs/DreamServer.git cd DreamServer/dream-server ./install.sh 安装程序会检测你的芯片，根据你的统一内存选择合适的模型，使用 Metal 加速原生启动 llama-server，并在 Docker 中启动所有其他服务。使用 ./dream-macos.sh status 管理。详情请参见 macOS 快速入门。 — ## 内置功能 ### 聊天与推理 - Open WebUI——功能齐全的聊天界面，支持对话历史、网络搜索、文档上传和 30 多种语言 (https://docs.openwebui.com) - llama-server——高性能 LLM 推理，支持连续批处理，根据你的 GPU 自动选择；Linux Docker 主机 API 默认为 localhost:11434，原生 macOS/Windows 路径使用 localhost:8080，容器 API 运行在 8080 - LiteLLM——支持本地/云/混合模式的 API 网关 - TEI Embeddings——用于 RAG 和搜索工作流的文本嵌入服务 ### 语音 - Whisper——语音转文本 - Kokoro——文本转语音 ### 智能体与自动化 - Hermes Agent——默认的本地优先自治/浏览器智能体，具备记忆、技能和魔法链接网关代理 - OpenClaw——已弃用的遗留自治智能体，在迁移窗口期内仍可选择性加入 - n8n——工作流自动化，集成 400 多个服务（Slack、邮件、数据库、API） - APE——用于审计和管理自治工具调用的智能体策略引擎 - OpenCode——基于浏览器的 AI 编码助手，已连接到本地栈 - Memory Shepherd——主机/systemd 辅助工具，用于智能体记忆生命周期管理 ### 知识与搜索 - Qdrant——用于检索增强生成（RAG）的向量数据库 - SearXNG——自托管网络搜索（无追踪） - Perplexica——深度研究引擎 - Brave Search——可选的付费 Brave Search API 集成 ### 创意 - ComfyUI——基于节点的图像生成 ### 隐私与运维 - Privacy Shield——用于 API 调用的 PII 清洗代理 - Dashboard——实时 GPU 指标、服务健康、模型管理 - Dashboard API——控制面板背后的服务健康、设置、状态、指标和管理 API - Token Spy——本地和代理 LLM 流量的令牌使用监控器 - Langfuse——可选的 LLM 可观测性和追踪 — ## 硬件自动检测 安装程序检测你的 GPU 并首先分配一个确定性的硬件层级。Linux 和 macOS 随后运行带版本号的目录选择器（dream-server/scripts/select-model.py），而 Windows 使用位于 dream-server/installers/windows/lib/tier-map.ps1 中的 PowerShell 目录选择器；两者都读取 dream-server/config/model-library.json，为检测到的内存包选择最佳的可安装 GGUF。最终选择写入 .env 作为 LLM_MODEL、GGUF_FILE、MAX_CONTEXT 和 MODEL_RECOMMENDATION_*。MODEL_PROFILE=qwen 是非 Gemma 目录的默认设置，因此实际选择可能是 Qwen、Phi 或 DeepSeek，具体取决于哪个最合适。MODEL_PROFILE=gemma4 强制在有可用 Gemma 4 的地方使用，MODEL_PROFILE=auto 在 NVIDIA、Apple Silicon 和 Intel Arc 层级上使用 Gemma 4。使用 ./install.sh --tier 3 覆盖层级选择；使用 MODEL_PROFILE=gemma4 ./install.sh 或 MODEL_PROFILE=auto ./install.sh 覆盖模型家族。 当 Hermes 启用时（这是默认的智能体路径），安装程序将首次运行的引导模型保持在 64K 上下文底限，并在选定模型支持的情况下将完整本地模型上下文提升至 128K。这既满足了 Hermes 的 64K 最低要求，同时保持了不到两分钟的首次聊天体验。 下面的示例是当前目录选择器针对常见硬件包输出的结果；确切的安装可能因检测到的 VRAM/RAM、主机架构、现有下载或明确的配置文件覆盖而有所不同。吞吐量仍需要在首次启动后进行本地基准测试。 ### NVIDIA | 层级/包 | 当前默认目录选择 | 上下文 | 示例硬件 | |——|–––––––|———|–––––––| | 0 / 8GB CPU 回退 | Qwen3.5 2B (Q4_K_M) | 8K | 低内存仅 CPU | | 1 / 8GB 独立 VRAM | Qwen3.5 9B (Q4_K_M) | 32K | RTX 4060, RTX 3060 12GB | | 2 / 12GB 独立 VRAM | Phi-4 14B (Q4_K_M) | 16K | RTX 4070 级别显卡 | | 3 / 24GB 独立 VRAM | Qwen3.5 27B (Q4_K_M) | 32K | RTX 4090, A6000 | | 4 / 48GB 独立 VRAM | DeepSeek R1 Distill Llama 70B (Q4_K_M) | 32K | A6000 Ada, L40S | | NV_ULTRA / 90GB+ amd64 独立 VRAM | Qwen3 Coder Next (Q4_K_M) | 128K | 多 GPU A100/H100 | | NV_ULTRA / 90GB+ arm64 统一内存 | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | DGX Spark / GB10 级别主机 | ### AMD Strix Halo（统一内存） | 层级/包 | 当前默认目录选择 | 上下文 | 硬件 | |——|–––––––|———|–––––| | SH_COMPACT / 64GB 统一 RAM | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | Ryzen AI MAX+ 395 (64GB) | | SH_LARGE / 96GB 统一 RAM | DeepSeek R1 Distill Llama 70B (Q4_K_M) | 32K | Ryzen AI MAX+ 395 (96GB) | | SH_LARGE / 124GB 统一 RAM | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | Ryzen AI MAX+ 395 (128GB 级别) | 选择器会将统一内存主机从 Qwen3 Coder Next 中路由出去，因为当前仓库政策记录在这些后端上存在正确性问题。 ### Apple Silicon（统一内存，Metal） | 层级/包 | 当前默认目录选择 | 上下文 | 示例硬件 | |——|–––––––|———|—————–| | 0 / 8GB 统一 RAM | Phi-4 Mini (Q4_K_M) | 128K | M1/M2 base (8GB) | | 1 / 16GB 统一 RAM | Qwen3.5 9B (Q4_K_M) | 32K | M4 Mac Mini (16GB) | | 2 / 32GB 统一 RAM | Phi-4 14B (Q4_K_M) | 16K | M4 Pro Mac Mini, M3 Max MacBook Pro | | 3 / 48GB 统一 RAM | Qwen3.5 27B (Q4_K_M) | 32K | M4 Pro (48GB), M2 Max (48GB) | | 4 / 64GB+ 统一 RAM | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | M2 Ultra Mac Studio, M4 Max (64GB+) | ### Intel Arc（Linux，SYCL） | 层级/包 | 当前默认目录选择 | 上下文 | 示例硬件 | |——|–––––––|———|——————| | ARC_LITE / 6GB 独立 VRAM | Phi-4 Mini (Q4_K_M) | 128K | Arc A380 | | ARC_LITE / 8GB 独立 VRAM | Qwen3.5 9B (Q4_K_M) | 32K | Arc A750 | | ARC / 16GB 独立 VRAM | Phi-4 14B (Q4_K_M) | 16K | Arc A770 16GB, 较新的 Arc GPU | Gemma 4 配置文件层级仍保留在安装程序层级映射中：入门硬件为 E2B，中端硬件为 E4B，专业硬件为 26B-A4B，大型/超大型硬件为 31B。 — ## 引导模式 无需等待大型下载。Dream Server 默认使用引导模式： 1. 在一分钟内下载一个微小的 1.5B 模型 2. 你立即开始聊天 3. 完整模型在后台下载 4. 当完整模型就绪时热切换——零停机 安装程序正在下载模块 安装程序并行拉取所有服务。下载支持断点续传——中断的下载会从中断处继续。 引导模型从 64K 上下文窗口开始，以便 Hermes 在首个会话期间能够工作。后台下载完成后，Dream Server 切换到完整模型并恢复 Hermes/完整模型上下文目标。 跳过引导：./install.sh --no-bootstrap — ## 切换模型 安装程序会根据你的硬件选择一个模型，但你可以随时切换： bash dream model current # 当前运行什么？ dream model list # 显示所有可用模型 dream model switch <model-name> # 热切换到不同模型 dream model default <model-name> # 设置新模型的默认值 该命令通过一个干净的上下文切换来切换本地推理后端——无需重新启动整个栈。可用的模型包括你安装的目录中的所有 GGUF 文件。