标签
本文评估了LLM推理中INT8量化的一致性测试套件，发现二的幂次量化缩放能够实现跨内核的位级确定性，而基于容差的检查仅限于预条件和有界性。
本文测试了CUTLASS和Triton INT8量化GPU内核在LLM推理中使用vLLM的可互换性，发现由于尺度应用和舍入导致输出发散，并提出了一种内核等效的一致性程序。