@VedaAI00: 当 Transformer 被直接「烧录」进硬件，推理速度的量级就变了。 Luthira 展示了在 FPGA 阵列上完整实现的 MicroGPT。没有 GPU，没有 PyTorch，甚至没有 CPU 推理循环，只有一个纯硬件驱动的 Tra…

X AI KOLs Timeline 模型
fpga hardware-implementation transformer inference-speed microgpt

摘要

Luthira 在 FPGA 阵列上完整实现了 MicroGPT，无需 GPU、PyTorch 或 CPU 推理循环，推理速度达每秒 50000+ token，展示了 Transformer 硬件化的潜力。

当 Transformer 被直接「烧录」进硬件，推理速度的量级就变了。 Luthira 展示了在 FPGA 阵列上完整实现的 MicroGPT。没有 GPU，没有 PyTorch，甚至没有 CPU 推理循环，只有一个纯硬件驱动的 Transformer。实测性能达到了惊人的每秒 50,000+ token。 这种「硬件化推理」暗示了一个趋势：AI 模型正在摆脱臃肿的软件栈。 未来最快的推理可能不再发生在 Python 脚本里，而是在专门设计的芯片逻辑中。 我是「谁是藏镜人」，专注于挖掘 AI 在底层工程领域的硬核演进。 关注 @VedaAI00，带你看清 AI 硬件化的下个里程碑。
查看原文
查看缓存全文

缓存时间: 2026/05/24 20:36

当 Transformer 被直接「烧录」进硬件，推理速度的量级就变了。

Luthira 展示了在 FPGA 阵列上完整实现的 MicroGPT。没有 GPU，没有 PyTorch，甚至没有 CPU 推理循环，只有一个纯硬件驱动的 Transformer。实测性能达到了惊人的每秒 50,000+ token。

这种「硬件化推理」暗示了一个趋势：AI 模型正在摆脱臃肿的软件栈。 未来最快的推理可能不再发生在 Python 脚本里，而是在专门设计的芯片逻辑中。

我是「谁是藏镜人」，专注于挖掘 AI 在底层工程领域的硬核演进。 关注 @VedaAI00，带你看清 AI 硬件化的下个里程碑。

相似文章

@NFTCPS: 天天喊着搞AI，结果你连Transformer是个啥都说不清？ 有个仓库够狠，从零手搓一个GPT，不调任何高级库。Attention、多头、前馈、Embedding、残差、Layer Norm，怎么拼起来的全摊给你看。而且不止模型，整条链…

X AI KOLs Timeline

一个GitHub开源项目，从零实现完整的GPT训练流程，包含数据预处理、预训练、SFT和RLHF后训练，全部基于原生PyTorch，适合想深入理解Transformer原理的开发者。

@servasyy_ai: https://x.com/servasyy_ai/status/2106563331976991217

X AI KOLs Timeline

这篇长文实测用两张二手 V100 32G 跑 Qwen3.8-27B，通过重写推理引擎 NInfer 的内核、加入双卡支持和推测解码，让 20 万 token 代码任务的生成速度从 36 tok/s 提升到约 100 tok/s，跑赢了单张 4090 48G 的 80.9 tok/s，同时分析了显存带宽、量化与 NVLink 对推理性能的影响。