@VedaAI00: 当 Transformer 被直接「烧录」进硬件，推理速度的量级就变了。 Luthira 展示了在 FPGA 阵列上完整实现的 MicroGPT。没有 GPU，没有 PyTorch，甚至没有 CPU 推理循环，只有一个纯硬件驱动的 Tra…
摘要
Luthira 在 FPGA 阵列上完整实现了 MicroGPT，无需 GPU、PyTorch 或 CPU 推理循环，推理速度达每秒 50000+ token，展示了 Transformer 硬件化的潜力。
查看缓存全文
缓存时间: 2026/05/24 20:36
当 Transformer 被直接「烧录」进硬件，推理速度的量级就变了。
Luthira 展示了在 FPGA 阵列上完整实现的 MicroGPT。没有 GPU，没有 PyTorch，甚至没有 CPU 推理循环，只有一个纯硬件驱动的 Transformer。实测性能达到了惊人的每秒 50,000+ token。
这种「硬件化推理」暗示了一个趋势：AI 模型正在摆脱臃肿的软件栈。 未来最快的推理可能不再发生在 Python 脚本里，而是在专门设计的芯片逻辑中。
我是「谁是藏镜人」，专注于挖掘 AI 在底层工程领域的硬核演进。 关注 @VedaAI00，带你看清 AI 硬件化的下个里程碑。
相似文章
@NFTCPS: 天天喊着搞AI，结果你连Transformer是个啥都说不清？ 有个仓库够狠，从零手搓一个GPT，不调任何高级库。Attention、多头、前馈、Embedding、残差、Layer Norm，怎么拼起来的全摊给你看。而且不止模型，整条链…
一个GitHub开源项目，从零实现完整的GPT训练流程，包含数据预处理、预训练、SFT和RLHF后训练，全部基于原生PyTorch，适合想深入理解Transformer原理的开发者。
GateGPT: 在80 MHz的FPGA上实现每秒56k tokens的Transformer（KV缓存）
一个自定义的FPGA实现，在80 MHz下运行带KV缓存的Transformer，实现每秒56,000 tokens，在微型LCD上运行microGPT。
@Michaelzsguo: 今天 Etched 高调进入公众视野。 这家公司想做的不是又一个 GPU 替代品，而是专门为 Transformer 推理设计的 AI 芯片，以及整套 inference cluster。它背后的投资人和支持者，几乎可以说是 AI 业界的…
Etched 高调亮相，宣布推出专门为 Transformer 推理设计的 AI 芯片和整套推理集群，已获得超过 10 亿美元客户合同和 8 亿美元融资，首台机柜将于今年夏天发货。
@Xx15573208: 看了很多 Transformer 的文章，能听懂原理，但真正坐下来写代码，完全无从下手。 LLMs-from-scratch 专门解决这个问题：配套《Build a Large Language Model》一书，带你用 PyTorch …
LLMs-from-scratch 是一个 GitHub 仓库，配套《Build a Large Language Model》一书，提供从零用 PyTorch 实现 GPT 的完整代码，涵盖预训练、微调、RLHF 等全流程，已获 93K+ stars，适合想深入理解大模型原理的开发者。
@FinanceYF5: 大家都在吹百万token上下文，但Prime Intellect一位工程师说了句大实话： GPT-5.5在256k时检索准确率80%，拉到一百万直接掉到36%。模型不是装不下，是装进去了推理不动——所谓的context rot。 为什么更…
Prime Intellect工程师指出，大语言模型如GPT-5.5在百万token上下文时检索准确率从256k时的80%降至36%，表明存在“context rot”问题，即模型能容纳但无法有效推理长上下文，对Agent应用构成挑战。