标签
本文提出了一种用于 Generative Search 的声明门控审计规范，旨在解决源关系中的遗漏问题，确保完整证据和披露，以实现可靠答案解释。
本文评估了LLM推理中INT8量化的一致性测试套件，发现二的幂次量化缩放能够实现跨内核的位级确定性，而基于容差的检查仅限于预条件和有界性。
本文测试了CUTLASS和Triton INT8量化GPU内核在LLM推理中使用vLLM的可互换性，发现由于尺度应用和舍入导致输出发散，并提出了一种内核等效的一致性程序。