@akshay_pachaar: CPU vs GPU vs TPU vs NPU vs LPU,可视化解释:5种硬件架构驱动当今AI。每种都做出了根本性…
摘要
一篇对比五种AI硬件架构(CPU、GPU、TPU、NPU、LPU)的解说文章,附带可视化图表,涵盖了它们在灵活性、并行性和内存访问方面针对AI工作负载的权衡。
CPU vs GPU vs TPU vs NPU vs LPU,可视化解释:
5种硬件架构驱动当今AI。
每种都在灵活性、并行性和内存访问之间做出了根本性的权衡。
> CPU
它专为通用计算而设计。少数强大的核心处理复杂逻辑、分支和系统级任务。
它拥有深层缓存层次结构和片外主存(DRAM)。它非常适合操作系统、数据库和决策密集型代码,但对于矩阵乘法等重复性数学运算并不擅长。
> GPU
与少数强大核心不同,GPU将工作分散到数千个较小的核心上,这些核心都在不同数据上执行相同的指令。
这就是GPU主导AI训练的原因。这种并行性直接映射到神经网络所需的数学运算类型。
> TPU
它们通过专用化更进一步。
核心计算单元是一个乘加(MAC)单元网格,数据以波的形式流过。
权重从一侧输入,激活值从另一侧输入,部分结果传播而无需每次都返回内存。
整个执行由编译器控制,而非硬件调度。Google专门为神经网络工作负载设计了TPU。
> NPU
这是一种针对边缘优化的变体。
该架构围绕一个神经计算引擎构建,其中包含MAC阵列和片上SRAM,但NPU使用低功耗系统内存,而非高带宽内存(HBM)。
设计目标是在个位数瓦特的功耗预算下运行推理,例如智能手机、可穿戴设备和物联网设备。
Apple Neural Engine和Intel的NPU遵循这一模式。
> LPU (Language Processing Unit)
这是最新加入的,来自Groq。
该架构完全将片外内存从关键路径中移除。所有权重存储都在片上SRAM中。
执行是完全确定性的并由编译器调度,这意味着零缓存未命中且无运行时调度开销。
权衡是每个芯片提供的内存有限,这意味着需要将数百个芯片连接在一起才能服务单个大模型。但延迟优势是实实在在的。
AI计算已经从通用灵活性(CPU)演变为极端专用化(LPU)。每一步都用一定程度的通用性换取了效率。
下面的可视化图表并排展示了所有五种架构的内部结构。
注意贯穿所有五种架构的主线。每一代的存在都是为了减少数据移动,因为数学运算从来不是难点。难点在于以足够快的速度向数学单元输送数据。
同样的较量在软件层面也上演。在LLM推理过程中,单个GPU每天产生数TB的KV缓存,其中几乎全部被丢弃并重新计算,这是代理工作负载成本高昂的一个重要原因。
我写了一篇详细的文章,解析了一种分离式缓存层如何解决这个问题,可将首token时间提升高达14倍。文章引用在下面。
你也应该查看@lmcache的GitHub仓库:https://github.com/LMCache/LMCache
(别忘了点星 ⭐)
轮到你了:这5种你实际使用或部署过哪些?
查看缓存全文
缓存时间: 2026/07/24 07:03
博客 | 文档 | 加入 Slack | 社区会议 | 路线图
相似文章
AI 芯片架构
本文概述了各种 AI 芯片架构,如 GPUs、TPUs 和 LPUs,讨论了它们的设计、扩展方法以及在 AI 行业中主要公司的采用情况。
@akshay_pachaar:GPU架构详解。普遍的假设是,更快的GPU意味着更强的计算能力,所以一款每秒能执行更多操作的芯片应该每秒能生成更多token……
本文以NVIDIA H100为例,阐明了GPU在AI推理中的性能受限于内存带宽而非算力,并解释了GPU架构及其对token生成速率的影响。
@vivekgalatage: 了解TPU的系统架构非常有趣。 https://henryhmko.github.io/posts/tpu/tpu.html…
深入探讨谷歌TPU架构,解释脉动阵列、流水线和提前编译的设计理念,这些设计带来了高吞吐量和能效。
@snowboat84: https://x.com/snowboat84/status/2061962883651731602
本文是AI工程全景系列的上篇,从历史角度梳理了GPU从游戏显卡到AI加速器的演化、CUDA的豪赌、谷歌TPU的独立路径,以及英伟达为何最终胜出,详细剖析了芯片、供应链、网络、电力等AI基础设施的底层逻辑。
我们的 TPU 如何驱动日益复杂的 AI 工作负载。
Google 介绍了其定制张量处理单元 (TPU) 如何设计以处理庞大的 AI 工作负载,并强调了最新一代 TPU 具备处理 121 exaflops 计算能力的特点。