在中国购买AI加速器/GPU……
摘要
用户询问在中国购买用于推理的国产AI加速器/GPU，特别是寻找华为替代英伟达的产品，并希望支持vLLM或Llama.cpp。
这事儿有点碰运气，但碰巧我下周要去中国。就想问一下，在那儿有没有什么中国产的显卡/AI加速器值得买？😊 我想找那种能跑大型推理模型的（也就是显存要够大），但速度不一定要最顶尖。能被vLLM或Llama.cpp之类的支持。不需要即插即用或者傻瓜式操作，稍微折腾一下才能用也没关系。我宁愿买几块华为的卡，也不想再让黄仁勋赚更多了……
相似文章
中国企业正在放弃英伟达的高端加速器，转向国内AI供应商
中国企业越来越多地将AI加速器预算分配给华为和Hygon等国内供应商，在中美紧张局势下减少对英伟达的依赖。彭博社一项调查显示，未来一年内46%的支出将用于国内产品，高于之前的30%。
@guohao_li：是的，确实是时候认真考虑购买更多GPU并开始构建我们自己的本地AI堆栈了。我很好奇…
一位研究人员表示，是时候购买更多GPU并构建本地AI堆栈了，并提到Qwen 3.5 27B和GLM 5.2等模型消除了永久底层阶级的威胁。
@rohanpaul_ai: 据The Information报道，继DeepSeek之后，智谱AI也在探索定制ASIC，因其GLM-5.2的使用量据报道增长了27倍…
智谱AI正在继DeepSeek之后探索定制ASIC，因为GLM-5.2的使用量在一周内增长了27倍，凸显了中国AI行业向大规模推理专用硬件的转变。
7家中国公司已开始出货H100/H200级别的AI芯片，其中多数在过去6个月内上市。我梳理了所有这些公司的格局。
至少有七家中国公司正在出货H100/H200级别的AI加速器，多数近期上市，部分由前NVIDIA/AMD架构师创立。华为昇腾950瞄准H200级别性能，中国本土市场份额随着NVIDIA份额下降而上升。
大语言模型与本地AI硬件的推理引擎（2026版）
本文提供了一份全面的指南，针对2026年本地AI硬件上的大语言模型推理引擎，解释了如何根据硬件策略、工作负载和服务模型进行选择，并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。