一家小型公司抢了AMD的风头，凭借采用老旧DDR4和28nm芯片的PCIe AI加速器，以仅240W功耗在本地运行700B参数大模型，向Nvidia发起挑战

# 一家小公司“截胡”AMD，并用运行700亿参数大模型的老旧PCIe AI加速器向英伟达发起挑战... 来源：https://www.techradar.com/pro/tiny-company-steals-amds-thunder-and-challenges-nvidia-with-old-tech-pcie-ai-accelerator-that-runs-700b-llms-locally-sipping-just-240w-thanks-to-decade-old-ddr4-and-28nm-chips --- - **Skymizer声称，庞大的AI模型不再需要超大规模GPU基础设施** - **老旧的28纳米芯片突然以令人惊讶的低功耗驱动大规模语言模型** - **HTX301将384 GB的内存压缩到一张PCIe加速器卡中** --- 一家名为Skymizer的台湾公司推出了一款PCIe AI加速器，凭借令人惊讶的“老旧”技术，同时向AMD (https://www.techradar.com/tag/amd) 和英伟达 (https://www.techradar.com/tag/nvidia) 发起挑战。 HTX301卡可以在单设备上运行高达700亿参数的语言模型，而功耗仅为240瓦。 该卡通过使用较旧的28纳米芯片以及标准的LPDDR4和LPDDR5内存（而非昂贵的HBM或GDDR解决方案）实现了这一壮举。 ## 老技术芯片与现代AI加速器同台竞技 Skymizer声称，其卡片在每秒100 GB带宽、仅0.5 TOPS性能下即可达到每秒30个token的推理速度。 HTX301基于Skymizer的HyperThought平台构建，该平台拥有专为大型语言模型工作负载设计的下一代LPU IP。 每张PCIe卡包含六颗协同工作的HTX301芯片，提供高达384 GB的总内存容量。 该设计对权重和KV缓存采用了高效的压缩技术，性能比开源的llama.cpp高出9%至17.8%。 订阅TechRadar Pro新闻通讯，获取您企业成功所需的所有顶尖新闻、观点、特稿和指南！ 其功耗低于AMD和英伟达领先的PCIe AI加速器通常所需功耗的一半。 该卡支持用于编码、自动化和特定领域工作流的代理AI（Agentic AI），无需依赖超大规模GPU集群。 在云环境中运行大型语言模型 (https://www.techradar.com/computing/artificial-intelligence/best-llms) 会引发隐私问题以及不可预测的成本，这是许多组织无法接受的。 升级本地基础设施以支持大规模GPU加速器平台，往往需要对数据中心 (https://www.techradar.com/pro/best-data-center-proxies) 的供电和冷却系统进行昂贵的重新设计。 Skymizer的HTX301为企业提供了第三种选择，无需任何基础设施变更即可直接安装在标准风冷服务器中。 该公司声称，凭借其新技术，需要超大规模GPU (https://www.techradar.com/news/computing-components/graphics-cards/best-graphics-cards-1291458) 集群来运行超大型LLM的时代已经结束。 PCIe卡形态允许企业在保持数据主权和可预测的基础设施成本的同时，在本地扩展AI推理能力。 ## Skymizer HTX301 等待现实世界的考验 Skymizer将于今年在Computex上预览HTX301，以便独立验证其性能数据。 这款芯片的规格在纸面上看起来令人印象深刻，但实际测试将决定该卡是否真的能在Llama2 7B工作负载下实现每秒240个token的速度。 AMD近期推出了配备144 GB HBM3E内存的Instinct MI350P PCIe卡，在MXFP4精度下峰值TFLOPS高达4,600，但其功耗远高于Skymizer的产品。 英伟达的RTX PRO 6000 Blackwell功耗约为600瓦，是Skymizer卡执行可比推理任务所需功耗的两倍多。 如果HTX301能如宣传所言正常工作，它将大幅降低本地AI基础设施的入门门槛。 若未能兑现承诺，Skymizer将加入众多未能证实其承诺的初创公司行列。 信息来源：Wccftech (https://wccftech.com/this-pcie-ai-accelerator-card-packs-384-gb-memory-run-700b-llms-240w/#comments) --- 黑色背景上的Google标志，旁边写着“点击关注TechRadar”的文字 ***在Google News上关注TechRadar*** (https://news.google.com/publications/CAAqKAgKIiJDQklTRXdnTWFnOEtEWFJsWTJoeVlXUmhjaTVqYjIwb0FBUAE?hl=en-GB&gl=GB&ceid=GB%3Aen) 并 ***将我们设为首选来源*** (https://www.google.com/preferences/source?q=techradar.com)，*以便在您的信息流中获取我们的专家新闻、评测和观点。* ---