@FGuzmanAI: 仅80 MHz下每秒56,000+ tokens。我将完整Transformer（含KV缓存）烧录到定制芯片中。逐门设计……

X AI KOLs Timeline 工具
custom-chip transformer-inference fpga hardware-acceleration kvcache microgpt

摘要

一款逐门定制的数字芯片，在仅80 MHz频率下运行含KV缓存的Transformer，实现每秒超过56,000 tokens，并在FPGA上完成原型验证。

仅80 MHz下每秒56,000+ tokens。🤯 我将完整Transformer（含KV缓存）烧录到定制芯片中。作为100%数字集成电路逐门设计。在FPGA上原型验证。（无GPU，无CPU） 纯数字硅片运行 @karpathy microGPT，在 https://t.co/hXX8kKIxiA 上拼写出名字。
查看原文
查看缓存全文

缓存时间: 2026/06/13 20:16

56,000+ tokens/sec，仅在80 MHz频率下。🤯

我把一个带KV缓存的完整Transformer烧进了定制芯片中。逐门设计，做成100%数字集成电路。在FPGA上完成了原型实现。（无GPU，无CPU） 纯粹的数字硅片，运行 @karpathy 的 microGPT，在 https://t.co/hXX8kKIxiA 上拼出名字。

相似文章