on-premise-ai

台湾初创公司Skymizer发布了HTX301，这是一款PCIe AI加速器，采用较老的28nm芯片和DDR内存，仅需240W功耗即可在本地运行700B参数的大语言模型，对Nvidia和AMD的高功耗GPU解决方案构成挑战。

作者称赞 DeepSeek V4 Flash 实现了高性能的本地大语言模型部署，为此计划斥资 2.5 万美元采购硬件，以为对数据隐私要求严格的客户服务。