在中国购买AI加速器/GPU……
摘要
用户询问在中国购买用于推理的国产AI加速器/GPU，特别是寻找华为替代英伟达的产品，并希望支持vLLM或Llama.cpp。
这事儿有点碰运气，但碰巧我下周要去中国。就想问一下，在那儿有没有什么中国产的显卡/AI加速器值得买？😊 我想找那种能跑大型推理模型的（也就是显存要够大），但速度不一定要最顶尖。能被vLLM或Llama.cpp之类的支持。不需要即插即用或者傻瓜式操作，稍微折腾一下才能用也没关系。我宁愿买几块华为的卡，也不想再让黄仁勋赚更多了……
相似文章
@Suhail: https://x.com/Suhail/status/2101665324882075958
Nathan Lambert 预测，顶尖的中国人工智能实验室越来越多地使用华为芯片进行推理，英伟达用于训练，这将随着智能体集群的兴起和规模化后训练而加速。
中国企业正在放弃英伟达的高端加速器，转向国内AI供应商
中国企业越来越多地将AI加速器预算分配给华为和Hygon等国内供应商，在中美紧张局势下减少对英伟达的依赖。彭博社一项调查显示，未来一年内46%的支出将用于国内产品，高于之前的30%。
@guohao_li：是的，确实是时候认真考虑购买更多GPU并开始构建我们自己的本地AI堆栈了。我很好奇…
一位研究人员表示，是时候购买更多GPU并构建本地AI堆栈了，并提到Qwen 3.5 27B和GLM 5.2等模型消除了永久底层阶级的威胁。
在询问预算硬件时，不要相信前沿模型！
作者分享了使用 Tesla P100 GPU 进行本地AI推理的经验，发现通过 llama.cpp 优化后，它们性价比高且性能出色，尽管最初得到了前沿模型的负面建议。
@rohanpaul_ai: 据The Information报道，继DeepSeek之后，智谱AI也在探索定制ASIC，因其GLM-5.2的使用量据报道增长了27倍…
智谱AI正在继DeepSeek之后探索定制ASIC，因为GLM-5.2的使用量在一周内增长了27倍，凸显了中国AI行业向大规模推理专用硬件的转变。