Osmantic/ODS 来源：https://github.com/Osmantic/ODS # ODS Osmantic 部署系统 将您的 PC、Mac 或 Linux 设备转变为私有 AI 服务器。 AI 服务器和家庭实验室的搭建正在迅速成为一个已解决的问题。对每个人来说，它都应该感觉如此。许可证：Apache 2.0 GitHub 星标 (https://github.com/Osmantic/ODS/stargazers) 版本发布 (https://github.com/Osmantic/ODS/releases) 观看演示 (https://youtu.be/nO8xFNHX-HA) ODS 会安装并连接好您本地运行 AI 所需的一切，因此您无需手动组装 Ollama、Open WebUI、n8n、ComfyUI 和隐私工具： - 本地模型推理 —— 在您自己的硬件上运行开源模型 - 类 ChatGPT 的网页界面 —— 从任何浏览器与您的模型对话 - 控制面板 —— 在一个地方管理模型、服务、设置、GPU 状态和扩展 - 语音、智能体与工作流 —— 构建能够聆听、发言、调用工具并完成工作的自动化流程 - RAG 与搜索 —— 连接本地文档、私有搜索和检索工作流 - 图像生成 —— 运行本地图像工具，无需将提示发送到托管 API - 隐私与运维 —— 将服务认证、密钥、可观测性和诊断工具集中在一个本地技术栈中 无需云服务。无需订阅。您的提示和数据除非您选择，否则将保留在您的设备上。当您需要时，云和混合 API 模式是可选的。 版本发布验证： 操作变更会通过一个发布级的测试集群和发行版实验室进行验证：零先决条件引导、全新安装、产品流程、全模型功能、生命周期恢复，以及最终的“用户绿灯”关卡。请参阅发布验证了解绿灯测试证明的内容。 仓库布局： 仓库根目录包含公开的 README、安装程序、安全策略、GitHub 工作流和项目协调文档。ods/ 目录是产品运行时：服务、安装阶段、组合覆盖、仪表盘、CLI、测试和操作员文档。 稳定使用： v2.6.0 是当前的稳定版本。main 分支更新频繁；用于活跃开发和候选验证版本。对于分支、应用、实验室或类生产安装，请固定使用标记的发布版本或经过审计的提交，并保留您自己的验证记录。稳定的补丁修复会先合并到 release/2.6.x 分支，然后再向前合并。请参阅发布渠道、安装程序信任和可分支性。 ## 开始使用 选择您的系统，复制代码块，在普通终端中运行。ODS 会安装整个技术栈，为您的硬件选择合适的模型，启动服务，并为您提供本地网页界面。 Linux 或 macOS bash curl -fsSL https://install.osmantic.com/ods.sh | bash Windows PowerShell powershell $ProgressPreference = "SilentlyContinue" $odsSrc = Join-Path $env:TEMP ("ods-install-" + [guid]::NewGuid().ToString("N")) $odsZip = Join-Path $odsSrc "ods-main.zip" New-Item -ItemType Directory -Path $odsSrc | Out-Null Invoke-WebRequest "https://github.com/Osmantic/ODS/archive/refs/heads/main.zip" -OutFile $odsZip Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass .\install.ps1 先决条件：必须安装并运行 Docker。在 Windows 上，使用启用了 WSL2 后端的 Docker Desktop，并在普通的非管理员 PowerShell 窗口中运行上述代码块。托管的 Linux/macOS 端点从仓库 main 分支代理当前的引导脚本。经过审查的合并在边缘缓存刷新后会自动到达该端点。ODS_REF 用于选择兼容的仓库检出版本。请参阅安装程序信任以检查脚本或手动安装稳定发布版本或经过审计的提交。Windows 用户不应在 PowerShell 中运行 curl ... | bash 命令。上面的 PowerShell 代码块下载源 ZIP 文件并运行与基于克隆工作流相同的 Windows 安装程序。更多详情，请参阅 Windows 快速入门。 安装后，打开 http://localhost:3000 即可开始聊天。后续可使用匹配的平台命令进行卸载： bash cd ~/ods ./ods-uninstall.sh --force powershell $installDir = "$env:USERPROFILE\ods" cd $installDir .\ods.ps1 uninstall --force Windows 恢复说明：如果运行时文件夹不完整且 .\ods.ps1 缺失，请从源代码检出目录中运行相同命令，如 .\ods\installers\windows\ods.ps1 uninstall --force。它会在移除运行时目录之前，先移除标记为 ODS compose 项目的 Docker 资源。 > API 端点： Linux Docker 安装默认在 http://localhost:11434 上暴露 llama-server（OLLAMA_PORT），而容器内使用 llama-server:8080。macOS 原生 Metal 和 Windows 原生/Lemonade 路径使用 http://localhost:8080，除非被覆盖。Open WebUI 保持在 http://localhost:3000。 > 没有 GPU？ ODS 也可以在云模式下运行——相同的完整技术栈，由 OpenAI/Anthropic/Together API 而非本地推理驱动： > bash > ./install.sh --cloud > > 端口冲突？ 每个端口都可以通过环境变量进行配置。请参阅 .env.example 获取完整列表，或在安装时覆盖： > bash > WEBUI_PORT=9090 ./install.sh > 新来的？ 阅读友好指南或收听音频版本 (https://open.spotify.com/episode/40MvqJ41bC8cEgvUyOyE3K) —— 完整讲解 ODS 是什么、如何工作以及如何定制。无需技术背景。 — ## 一览 | 问题 | 答案 | |–––––|––––| | 它是什么？ | 一个用于您自己硬件的本地 AI 服务器技术栈，提供一键式 Linux/macOS 安装程序和用于 Windows 的 PowerShell 安装程序。 | | 适合谁？ | 那些想要在家庭、实验室或工作站中使用私有 AI，而无需手动拼接十几个服务的人。 | | 我能得到什么？ | 本地推理、Open WebUI 聊天、控制面板、语音、智能体、工作流、RAG、搜索、图像生成、隐私工具、可观测性和开发者工具。 | | 它运行在什么平台上？ | Linux、带有 WSL2/Docker Desktop 的 Windows 以及 macOS Apple Silicon。 | | 需要云服务吗？ | 不需要。本地模式是默认选项；云和混合 API 模式是可选的。 | | 如果您了解… | ODS 会添加… | |––––––––|–––––––––––| | Ollama / llama.cpp | 周边服务器技术栈：聊天、面板、语音、RAG、工作流、智能体、隐私和服务管理。 | | Open WebUI | 围绕 Open WebUI 的完整安装程序和控制平面，以及预连接的本地服务。 | | AnythingLLM | 超越 RAG 的更广泛本地 AI 应用行为：推理、聊天、语音、工作流、图像生成和运维。 | | n8n 自托管 AI 入门套件 | 作为更大私有 AI 服务器一部分的工作流自动化。 | — > 当前平台支持 > > | 平台 | 状态 | > |–––––|––––| > | Linux（NVIDIA + AMD + Intel Arc） | 支持 —— 今天即可安装和运行 | > | Windows（NVIDIA + AMD） | 支持 —— 今天即可安装和运行 | > | macOS（Apple Silicon） | 支持 —— 今天即可安装和运行 | > > 已测试的 Linux 发行版： Ubuntu 24.04/22.04、Debian 12、Linux Mint 21.3、Fedora 41+、Rocky Linux 9、Arch Linux、Manjaro、CachyOS 和 openSUSE Tumbleweed。其他使用 apt、dnf、pacman 或 zypper 的发行版也应能工作——如果您遇到问题，请提交 issue (https://github.com/Osmantic/ODS/issues)。 > > 发布验证： 操作变更会经过一个发布级的关卡，涵盖零先决条件引导、全新安装、产品行为、完整模型功能、生命周期恢复和“用户绿灯”。请参阅发布验证和验证矩阵。 > > Windows： 需要带有 WSL2 后端的 Docker Desktop。NVIDIA GPU 使用 Docker GPU 直通；AMD Strix Halo 通过 Windows 安装程序和支持矩阵中记录的平台特定加速路径运行。 > > macOS： 需要 Apple Silicon（M1+）和 Docker Desktop。llama-server 使用 Metal GPU 加速原生运行；所有其他服务在 Docker 中运行。 > > 请参阅支持矩阵了解支持的平台声明，以及验证矩阵了解用于测试这些声明的分层测试平台。 — ## 为什么选择 ODS？ 少数几家公司控制着全球绝大部分 AI 流量——以及随之而来的您的数据、成本和正常运行时间。您发送给集中式提供商的每一次查询，都是您不拥有的商业情报，运行在您无法控制的基础设施上，按照您无法协商的条件定价。如果 AI 正在成为关键基础设施，它就不应该是租来的。托管自己的本地 AI 应该是一项基本的人权，而不是一种职业选择。 因为运行自己的 AI 不应该需要计算机科学学位和一个周末来调试 CUDA 驱动程序。目前，设置本地 AI 意味着拼接十几个项目、从头编写 Docker 配置，并祈祷一切都能互相通信。大多数人放弃了，转而继续付费给 OpenAI。我们构建 ODS，这样您就不必如此。 - 一条命令 —— 检测您的 GPU，选择合适的模型，生成凭据，启动一切 - 2 分钟内开始聊天 —— 引导模式在后台下载完整模型的同时，立即为您提供一个可用的模型 - 完整的技术栈，预连接 —— 聊天、智能体、语音、工作流、搜索、RAG、图像生成、隐私工具、可观测性和开发者工具。开箱即用，彼此通信 - 完全可定制 —— 每个服务都是一个扩展。放入一个文件夹，运行 ods enable，完成 手动安装（Linux） bash git clone https://github.com/Osmantic/ODS.git cd ODS/ods ./install.sh Windows（PowerShell） 需要带有启用 WSL2 后端的 Docker Desktop (https://www.docker.com/products/docker-desktop/)。请先安装 Docker Desktop 并确保其运行，然后再开始。 打开普通的 PowerShell 会话并运行： powershell $ProgressPreference = "SilentlyContinue" $odsSrc = Join-Path $env:TEMP ("ods-install-" + [guid]::NewGuid().ToString("N")) $odsZip = Join-Path $odsSrc "ods-main.zip" New-Item -ItemType Directory -Path $odsSrc | Out-Null Invoke-WebRequest "https://github.com/Osmantic/ODS/archive/refs/heads/main.zip" -OutFile $odsZip Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass .\install.ps1 > Set-ExecutionPolicy 命令允许安装程序脚本在当前会话中运行。它不会更改您的系统级策略。 > 不建议以管理员身份运行安装程序，因为用户级别的路径（如 .opencode、data/ 和 .env）可能会以管理员所有权权限创建。 安装程序会检测您的 GPU，选择合适的模型，生成凭据，启动所有服务，并创建一个仪表盘的桌面快捷方式。从运行时目录使用 .\ods.ps1 status 进行管理；使用 .\ods.ps1 uninstall --force 进行卸载。 macOS（Apple Silicon） 需要 Apple Silicon（M1+）和 Docker Desktop (https://www.docker.com/products/docker-desktop/)。请先安装 Docker Desktop 并确保其运行，然后再开始。 bash git clone https://github.com/Osmantic/ODS.git cd ODS/ods ./install.sh 安装程序会检测您的芯片，为您的统一内存选择合适的模型，使用 Metal 加速原生启动 llama-server，并在 Docker 中启动所有其他服务。使用 ./ods-macos.sh status 进行管理。详情请参阅 macOS 快速入门。 — ## 包含内容 ### 聊天与推理 - Open WebUI —— 功能齐全的聊天界面，支持对话历史记录、网页搜索、文档上传和 30 多种语言 (https://docs.openwebui.com) - llama-server —— 高性能 LLM 推理，支持连续批处理，根据您的 GPU 自动选择；Linux Docker 主机 API 默认为 localhost:11434，macOS/Windows 原生路径使用 localhost:8080，容器 API 运行在 8080 端口 - LiteLLM —— 支持本地/云/混合模式的 API 网关 - TEI Embeddings —— 用于 RAG 和搜索工作流的文本嵌入服务 ### 语音 - Whisper —— 语音转文本 - Kokoro —— 文本转语音 ### 智能体与自动化 - Hermes Agent —— 默认的本地优先自主/浏览器智能体，具有记忆、技能和魔法链接门控代理功能 - OpenClaw —— 已弃用的遗留自主智能体，在迁移窗口期仍可选择使用 - n8n —— 工作流自动化，支持 400 多个集成（Slack、电子邮件、数据库、API） - APE —— 用于审计和管理自主工具调用的智能体策略引擎 - OpenCode —— 基于浏览器的 AI 编码助手，连接到本地技术栈 - Memory Shepherd —— 智能体记忆生命周期管理的主机/systemd 辅助工具 ### 知识与搜索 - Qdrant —— 用于检索增强生成（RAG）的向量数据库 - SearXNG —— 自托管网页搜索（无跟踪） - Perplexica —— 深度研究引擎 - Brave Search —— 可选的付费 Brave Search API 集成 ### 创作 - ComfyUI —— 基于节点的图像生成 ### 隐私与运维 - Privacy Shield —— 用于 API 调用的个人身份信息（PII）清理代理 - 仪表盘 —— 实时 GPU 指标、服务健康状况、模型管理 - 仪表盘 API —— 仪表盘背后的服务健康状况、设置、状态、指标和管理 API - Token Spy —— 用于本地和代理 LLM 流量的令牌使用量监控器 - Langfuse —— 可选的 LLM 可观测性和跟踪工具 — ## 硬件自动检测 安装程序检测您的 GPU 并首先分配一个确定的硬件层级。然后，Linux 和 macOS 运行版本化的目录选择器（ods/scripts/select-model.py），而 Windows 使用 ods/installers/windows/lib/tier-map.ps1 中的 PowerShell 目录选择器；两者都读取 ods/config/model-library.json 来为检测到的内存包选择最佳的可安装 GGUF。最终选择将作为 LLM_MODEL、GGUF_FILE、MAX_CONTEXT 和 MODEL_RECOMMENDATION_* 写入 .env。MODEL_PROFILE=qwen 是默认的非 Gemma 目录配置文件，因此有效选择可能是 Qwen、Phi 或 DeepSeek，具体取决于哪个最合适。MODEL_PROFILE=gemma4 在可用时强制使用 Gemma 4，MODEL_PROFILE=auto 在 NVIDIA、Apple Silicon 和 Intel Arc 层级使用 Gemma 4。您可以使用 ./install.sh --tier 3 覆盖层级选择；使用 MODEL_PROFILE=gemma4 ./install.sh 或 MODEL_PROFILE=auto ./install.sh 覆盖模型系列。 当启用 Hermes（默认智能体路径）时，安装程序将首次运行的引导模型保持在 64K 上下文基准，并在所选模型支持时将完整本地模型的上下文提升到 128K。这避免了 Hermes 的硬性 64K 最低要求，同时保留了不到 2 分钟的首次聊天体验。下面的示例是针对常见硬件包的当前目录选择器输出；确切的安装可能会因检测到的 VRAM/RAM、主机架构、现有下载或显式配置文件覆盖而有所不同。吞吐量仍需在首次启动后进行本地基准测试。 ### NVIDIA | 层级 / 内存包 | 当前默认目录选择 | 上下文长度 | 示例硬件 | |——|–––––––|———|–––––––| | 0 / 8 GB CPU 回退 | Qwen3.5 2B (Q4_K_M) | 8K | 低内存仅 CPU | | 1 / 8 GB 独立显存 | Qwen3.5 9B (Q4_K_M) | 32K | RTX 4060、RTX 3060 12GB | | 2 / 12 GB 独立显存 | Phi-4 14B (Q4_K_M) | 16K | RTX 4070 级别显卡 | | 3 / 24 GB 独立显存 | Qwen3.5 27B (Q4_K_M) | 32K | RTX 4090、A6000 | | 4 / 48 GB 独立显存 | DeepSeek R1 Distill Llama 70B (Q4_K_M) | 32K | A6000 Ada、L40S | | NV_ULTRA / 90+ GB amd64 独立显存 | Qwen3 Coder Next (Q4_K_M) | 128K | 多 GPU A100/H100 | | NV_ULTRA / 90+ GB arm64 统一内存 | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | DGX Spark / GB10-c |