batch-1-decode

本文研究了物理AI系统中批量1的LLM解码的性能差距，发现更快的内存带宽并没有按比例减少延迟，因为启动开销的存在，并且量化效率在不同硬件间差异显著。