Qwen Next 3.8 / Claude Opus 级别的本地模型 - 部署应该购买什么？

嘿，Reddit。这是一篇寻求建议或用户体验的帖子。目标很简单：为一个开发者部署一个小型私人服务器，运行一个能与 Claude Opus 匹敌或超越它的平台（在性能/智能方面，不一定在速度上）。我认为目标模型是 Qwen 3.8 Next 的 Q3 左右版本，并构建一个双 GPU、64GB 的设置。从 RAM/SSD 流式传输 n-gram（总共约 85GB 用于模型 + KV，减去 27 n-gram 等于 63GB）意味着 64GB 可能足够。预算：尽可能低，最高 $4000。但我愿意非常精打细算。我想知道：如果我想用完整的 256k 上下文运行这个模型，并希望大约 ~500 tok/sec 的预处理速度和 +20 tok/sec 的解码速度，我需要什么样的显卡？我认为我的选项如下：预算有限且奇怪：使用 2 或 3 个 Tesla V100s（32GB 版本）的超级愚蠢方案，我认为这是可能的，但还没看到有人真正部署过。这当然有便宜的优点，但缺点是过时，并且随着更好模型的出现，会失去社区支持。这也意味着需要依赖一个更专业的主板，具有适当的 PCIe 通道。主板和零件可能 $600，2 张卡在 eBay 上约 $2000。可行。预算有限且有趣：AMD Strix 64GB 版本（便宜得多，约 $2000）和一张 5060 Ti 16GB，然后在 Vulkan 上运行模型。这意味着我们可以利用 iGPU 和快速内存来处理专家模型，并让模型注意力在 5060 Ti 上运行——这听起来像是两全其美。成本 $2600 + $750 + OcuLink riser = $3500。可行，而且可能非常快。缺点：在 Vulkan 上运行意味着预处理较慢，部署奇怪。预算有限且使用 Intel：2x Arc Pro B70s。我看到 vLLM 有一个在 Intel 上运行良好的分支。选择 vLLM 而不是 llama.cpp 意味着卸载 n-gram 会更麻烦——所以我可能需要 64GB 的内存。这今天要 $400，所以系统价格会显著上升。而且它们不是那么快——从我所见，显存带宽大约是 Strix Halo 的 2 倍 Gbps。$1200 x2 + $800 系统 = $3200。缺点：可能较慢。预算不那么有限且现代：ROCm 2x RX 7900 XTX 或 r9700。比 Intel 更好的支持，可能可以正确地卸载到 SSD，并且使用这个更现代 + 将来的新模型。最快，最具未来性。成本 $1700 x2 + 约 $500 = 总计 $4100。我在寻找这些系统的任何基准测试、建议或任何想提供意见的人的轶事。注意，这个模型似乎是一个好目标，但当然这个系统旨在持续为一个开发者提供服务器，具有现代、前沿匹配的 AI，而不用在 5090 或类似产品上花大钱。展望未来，我认为 ~中端、Opus 级别的模型将是人们实际能负担得起运行的，并且随着像 n-gram 这样的优化，我假设它们将来可以在更少的内存上运行。显然，价格变得疯狂，但它们似乎一直在上涨——所以请告诉我任何想法。另外——这不是 AI 写的——所以请阅读。