如果你有15万美元预算,要搭建一个服务300人的生产级本地推理服务器,你会买什么?
摘要
一位用户寻求建议,希望以低于15万美元的价格购买一台故障转移推理服务器,用于服务300人,讨论了使用二手H100、RTX Pro 6000和DGX Station等选项来运行vLLM上的122b AWQ模型。
相似文章
3000美元 128GB 显存 + 256GB DDR4 内存服务器
一位用户详细介绍了构建一个具有128GB显存和256GB DDR4内存的家庭推理服务器,用于AI工作负载。在使用VLLM分支处理Qwen3.8模型时,尽管最初有设置问题,但取得了令人满意的性能。
打造预算型 32GB → 48GB 显存家用 AI 服务器:2-3 张 RX 9060 XT 16GB 对比 RTX 5060 Ti 16GB,AM5 还是二手 EPYC?
一位用户正在寻求构建预算型家用 AI 服务器(32-48GB 显存)的建议,正在 AMD RX 9060 XT 和 Nvidia RTX 5060 Ti GPU 之间犹豫,并纠结于使用 AM5 还是二手 EPYC 平台来进行本地 LLM 推理和大型 MoE 模型卸载。
如果你有384GB(4块Blackwell),你会部署什么模型?为什么?
用户向社区询问,在拥有4块RTX PRO 6000 GPU(共384GB)的高端本地设备上,应该部署哪个大型语言模型,主要用于公司内部政策管理和思考任务。
4台 6000 Pro,供公司使用
一位用户分享了如何使用完全本地部署的 AI 技术栈为 40 名员工(其中 10 名开发者)提供服务:该技术栈由一台配备 4 张 RTX 6000 Blackwell MaxQ GPU(384GB 显存)的 4U 服务器驱动,通过 vLLM 运行 DeepSeek V4 Flash,通过 llama.cpp 运行 Qwen 3.8 27B 和 K2-Horizon 7B,并结合 n8n 自动化、OpenWebUI、Whisper/Vexa AI 的 Teams 会议转录功能,以及用于营销的 ComfyUI。
Qwen Next 3.8 / Claude Opus 级别的本地模型 - 部署应该购买什么?
一位 Reddit 用户询问在 $4000 预算内运行类似 Claude Opus 或 Qwen 3.8 Next 的本地 AI 模型的性价比硬件设置建议,讨论了 Tesla V100s、AMD Strix 和 Intel Arc Pro 等 GPU 选项。