进展（3分钟阅读）

# 进展 | Etched 来源：https://www.etched.com/progress ## 我们正在打造一个全新类别的AI硬件：前沿推理系统。 我们协同设计芯片、机架、软件和制造方法，使前沿模型在预填充和解码工作负载中实现一流的吞吐量、延迟、成本和能效。 今年早些时候，我们的A0芯片从台积电N4P工艺回片，如今我们正忙于与客户验证首款机架级产品，以满足10亿美元的需求。 我们是一支由400多名工程师组成的团队，成员来自NVIDIA、Google TPU团队、博通、SK海力士、台积电等公司。我们通过四轮未公开融资筹集了8亿美元，其中包括VentureTech Alliance的战略投资。我们期待深化与全球领先半导体制造商的合作。 ## 设计新的帕累托前沿 我们的推理系统旨在推动前沿模型的整个帕累托曲线，包括数万亿参数的混合专家模型、长上下文和智能体工作负载。这需要从新芯片、封装、PCB、冷板、互连等方面进行深度协同设计。今天，我们分享实现这一目标的两项突破： ### 低电压推理（LVI）用于高吞吐量工作负载 如今，AI芯片在提高FLOPs利用率时无法避免热降频。随着FLOPs利用率增加，AI芯片功耗上升并降低时钟频率，这通常导致持续推理吞吐量不到峰值FLOPs的一半。 我们设计了一种新架构，使芯片的数学运算单元在不到大多数AI芯片一半电压下运行。这使得FLOPs密度达到当前AI芯片的数倍。我们可以在无需热降频的情况下，以80%以上峰值FLOPs运行万亿参数稀疏混合专家模型。 实现LVI需要从晶体管到token的整个集群协同设计：新的可拆分数学阵列、电路技术、新颖的平铺和调度算法、供电网络、VRM架构、先进封装、冷板设计等。 ### 集群级内存（CSM）用于低延迟工作负载 由于内存子系统和互连瓶颈，当今使用HBM的AI芯片无法达到SRAM级别的解码速度。纯SRAM芯片的FLOPs密度和内存容量较低，牺牲了吞吐量。 我们在扩展域内创建了一个延迟低得多的共享内存池。我们采用专有的超低延迟、高带宽互连，实现芯片间极快的内存访问。 我们的HBM/SRAM混合设计同时解决了内存容量和内存间延迟问题，在实现高吞吐量的同时保持交互性。CSM改善了延迟，避免了当前纯SRAM芯片、3D DRAM芯片或光学方案在成本、可靠性、良率、热管理和算力方面的权衡。 我们与领先的AI公司、云服务商和超大规模企业携手做出了协同设计决策。我们在代表性数据中心部署中测试了机架，通过模拟器运行了数TB的生产流量模式，并派出了数十名工程师在海外驻留数月，与供应链合作伙伴进行深度协同设计。如果你对此感兴趣，欢迎加入我们（https://www.etched.com/join）。 ## 迈向千兆瓦规模 早期客户测试显示，我们在推理工作负载上实现了业界领先的吞吐量、延迟和能效。今年夏天，我们将分享更多关于性能和路线图的更新。 首批机架将于今年夏天发货，我们已启动生产，以履行超过10亿美元的客户合同。为实现全天候工程周期，我们在台湾开设了工厂，并在圣何塞办公室建立了数据中心、测试实验室和NPI原型实验室。 我们采用垂直整合模式，以尽快达到千兆瓦规模。数学运算单元设计师与推理工程师并肩工作，热管理专家与GSM（全球供应链管理）人员协作。如果你对此感到兴奋，不妨考虑加入我们（https://www.etched.com/join）。