需要说明的是，拥有硬件本身也并不容易！

Reddit r/singularity 新闻
hardware ai-inference cost maintenance glm hgx-b300

摘要

一家公司分享了采购和维护用于AI推理的HGX B300的实际困难，包括高昂的成本（110万欧元）、电力与空间需求以及供应有限，并给出了GLM 5.2的吞吐量估算。

我的公司目前正在尝试购买一台用于GLM 5.2的HGX B300。仅购买就需要大约110万欧元——这是我们一个月前收到的报价。然后还需要一个放置它的地方，以及至少0.25到0.5个全职人力维护。它可能能用2到5年，但到今年年底它甚至都不会是最新一代产品。一台HGX B300大约能提供每秒7000个token，而一个活跃用户使用GLM 5.2需要大约每秒40到50个token。实际上，这大约相当于20个并发编程用户，或者120到180个RAG用户。而且B300的供应量不多，所以即使你有钱，也可能买不到！
查看原文

相似文章

在中国购买AI加速器/GPU……

Reddit r/LocalLLaMA

用户询问在中国购买用于推理的国产AI加速器/GPU，特别是寻找华为替代英伟达的产品，并希望支持vLLM或Llama.cpp。