ZIMA Board 2 加 RTX 2000 ADA 是否是获得一个不错的 Qwen-3.8 27b 自包含端点的最便宜途径?

Reddit r/LocalLLaMA 新闻

摘要

本文探讨了使用 ZIMA Board 2 搭配 RTX 2000 ADA GPU 作为运行 Qwen 3.8 27b AI 模型的负担得起的自包含设置,并与 Mac Mini M5 等替代方案进行了比较。

我刚刚看了 Luke’s Dev Lab 的一个视频,他直接将 RTX 2000 ADA 插入 Zima Board 2 的 PCIe 插槽,它居然就正常工作了,并且尽管运行在糟糕的 Ollama 上,但令牌速度非常快。完全使用 Zima 的电源供电。 https://youtu.be/Lb3sRFTA-hk?si=8S8vv4GD1zVPeTrc Zima Board 2 大约只要 411 美元。它有大约 16GB RAM、64 GB eemc 存储、SATA 端口、以太网等等。 https://shop.zimaspace.com/products/zimaboard2-single-board-server Nvidia RTX 2000 ADA 大约 700 美元,拥有 16GB VRAM。两者加起来约 1100 美元,似乎是获得一个功能齐全、以不错每秒令牌数运行的 Qwen 3.8 27b 端点的绝佳入门点。这是本地 AI 最便宜且性能最佳的自包含入门点吗,还是说基础版(预售)的 Mac Mini M5 搭配 24GB 内存会是更好的选择?看来 RTX 在提示处理速度上仍会略胜 M5 Mac,但 Mac 确实提供了一台更好的实际计算机。是否有更便宜的全自包含替代方案,能在类似 Qwen 3.8 27b 这样规模不错的模型上提供快速的令牌速度?我专注于讨论现在可以购买或预售的新系统,而不是二手系统。我确信市面上有不错的二手 Mac 交易,但我想要好的预填充速度。
查看原文

相似文章

在单卡5090上本地运行Qwen 3.8 27B的测试

Reddit r/ArtificialInteligence

本文展示了在单卡5090 GPU上本地运行Qwen 3.8 27B AI模型的能力,使用Row-Bot生成丰富的动画,展示从语言合成到物理模拟的任务。