GateGPT: 在80 MHz的FPGA上实现每秒56k tokens的Transformer（KV缓存）
摘要
一个自定义的FPGA实现，在80 MHz下运行带KV缓存的Transformer，实现每秒56,000 tokens，在微型LCD上运行microGPT。
仅80 MHz下每秒56,000+ tokens。
我将一个完整的带KV缓存的Transformer烧录到自定义芯片中。逐门设计，作为一个100%数字集成电路。在FPGA上原型验证。（无GPU，无CPU）
纯粹的数字硅片，运行@karpathy microGPT，在微型LCD上拼出名字。
这就是GateGPT
查看缓存全文
缓存时间: 2026/06/16 17:36
仅80MHz下每秒56,000+ token。 我将一个完整的带KV缓存的Transformer烧录进定制芯片。 逐门设计，作为100%数字集成电路。 在FPGA上原型验证。 （无GPU。无CPU） 纯粹的数字硅片运行@karpathy的microGPT，在微型LCD上拼写姓名。 这就是GateGPT。
相似文章
@VedaAI00: 当 Transformer 被直接「烧录」进硬件，推理速度的量级就变了。 Luthira 展示了在 FPGA 阵列上完整实现的 MicroGPT。没有 GPU，没有 PyTorch，甚至没有 CPU 推理循环，只有一个纯硬件驱动的 Tra…
Luthira 在 FPGA 阵列上完整实现了 MicroGPT，无需 GPU、PyTorch 或 CPU 推理循环，推理速度达每秒 50000+ token，展示了 Transformer 硬件化的潜力。
microGPT纯C实现在Apple M5上达到10M tps
microGPT-C项目是一个基于纯C语言的最小化、无依赖的字符级Transformer实现，在Apple M5硬件上可达到超过10M tps的推理速度。
Show HN: TurboGPT：在13秒内训练22KiB的transformer
TurboGPT是一个开源的CUDA C++工具，能够实现微型字节级GPT模型的快速训练，在1.5G个token上仅用13秒就达到了2.5295 BPB。
@mweinbach: 谁说TPU不能快！这大致是TPU 8i达到Groq的速度，但搭载Gemini Flash模型，智能程度远胜…
谷歌展示了Gemini Flash模型在TPU 8i上实现每秒600-1400 token的处理速度，与Groq的推理速度相当。
我仅能腾出小规模来摆弄Transformer
一名学生介绍了Silia，这是一种新颖的Transformer架构，将注意力机制和前馈网络合并为统一操作，以在≤10M参数规模下节省参数，尽管计算资源有限，仍以更少的参数实现了与GPT-2相当的性能。