real-time-inference

Flash-WAM提出了一种面向世界行动模型的模态感知蒸馏方法，通过将扩散压缩为每个模态单步推理，实现了实时推理，速度提升23倍。

Kog 宣布在标准数据中心 GPU 上实现每请求每秒 3000+ 输出令牌的实时大语言模型推理，将此前仅限于定制芯片的高速推理引入生产硬件。

本文对Apple M3 Ultra上的实时扩散模型推理进行了系统优化研究，通过CoreML转换和蒸馏模型在512x512分辨率下达到了22.7 FPS，揭示了针对CUDA优化的技术无法直接迁移到Apple统一内存架构。