transformer-inference

一款逐门定制的数字芯片，在仅80 MHz频率下运行含KV缓存的Transformer，实现每秒超过56,000 tokens，并在FPGA上完成原型验证。

本文全面介绍了云端部署 Transformer 推理的完整技术栈，涵盖应用场景、工作负载定义、模型、推理引擎、硬件、可观测性及性能优化，并展望了未来趋势。