标签
一款逐门定制的数字芯片,在仅80 MHz频率下运行含KV缓存的Transformer,实现每秒超过56,000 tokens,并在FPGA上完成原型验证。
Luthira 在 FPGA 阵列上完整实现了 MicroGPT,无需 GPU、PyTorch 或 CPU 推理循环,推理速度达每秒 50000+ token,展示了 Transformer 硬件化的潜力。