我用 Intel N100 + RTX 5060Ti 构建了一个奇怪的低功耗 llama.cpp 服务器

一切始于我那台旧 ASRock J1900 的突然死亡。在寻找完美的 ITX 替代品时，我偶然发现了中国的 CW-NAS-ADLN-K 主板，它在纸面上看起来完美：Intel N100、DDR5、6x SATA、2x NVMe。更强的性能让我能够更认真地折腾 Docker，并开始自托管更多服务。我在这台服务器上的 AI 之旅始于 Immich 的机器学习任务，其 iGPU 使用 OpenVINO 处理我的整个媒体库，表现完美。与此同时，我第一次接触 LLM 是在一台搭载 GTX 1070（8GB）的 MSI GS65 笔记本电脑上。和许多人一样，当时运行现在的老款 Llama 3 感觉就像魔术，尽管说实话，它对实际任务并不是特别有用。从那时起，我一直测试每一个新版本，直到今天，我开始将 Qwen 3.5 和 Gemma 4 融入日常工作中。就在这时，“迈出这一步”的需求出现了。我的推理会话变得越来越长、越来越频繁，而且我不想让笔记本电脑的 GPU 一直徘徊在 90°C 左右，冒着损坏主力机（笔记本）的风险。接着一个大问题来了：哪款 GPU 适合我？我最初找的是二手的 RTX 3060 12GB，但我觉得 12GB 显存会让我刚好卡在运行真正值得使用的模型的边缘。巧合的是，在我浏览常去的硬件零售商时，我发现了一块翻新的 ASUS RTX 5060 Ti，售价 450 欧元，然后毫不犹豫地冲动购买了。当我准备安装它时——担心 N100 的处理能力和 PCIe 3.0 x4 瓶颈会拖后腿——我遇到了一个物理问题：显卡与 SATA 接口和主 ATX 电源接口发生了冲突。我觉得自己像个白痴。但经过一番思考，我很快想出了一个解决方案：用 PCIe 延长线把 GPU 移到机箱外面。经过一些 DIY 调整，我成功装好了 GPU，并确认，尽管困难重重，它被识别且功能完全正常。使用最新的 NVIDIA 开源驱动、最新的 CUDA 工具包和最新的 llama.cpp 提交，我开始了第一次测试。经过大量测试，我当前的方案是：Ornith-1.0-9B-MTP-Q5_K_M.gguf 以完整上下文运行，以及 Qwen3.6-27B-UD-IQ3_XXS.gguf 作为我的主要智能选项，我可以将上下文扩展到 65k tokens 而不会溢出到系统内存。虽然我只运行这两个基础模型，但我的 llama.cpp 配置使用了多个配置文件，针对编码、计算机视觉和文档任务专门调整了不同的推理参数。我已经每天使用这套配置几个月了，再满意不过了。Ornith 的运行速度约为 80 tokens/秒，Qwen 3.6 约为 40 tokens/秒。在前端/代理方面，我使用 OpenCode；只要有定义良好的代理规则和技能，它对我的特定用例来说表现得相当出色。至于功耗，低得离谱：空闲时低于 40W（有几块 HDD 在转），重度推理时低于 200W（GPU 功耗限制设置为 120W）。我很高兴能以如此低的运营成本全天候运行一个兼容 OpenAI 的 API。如果有人好奇，想让我详细说明某个具体点，或者想让我跑一些基准测试，我很乐意回复！