mlir

本文介绍了跨多种方言的自然语言到MLIR代码生成的基准测试，以及一个基于模式约束的解码栈，该栈使得小型语言模型无需重新训练即可在结构验证器任务上匹配或超越大型代码语言模型。

本文提出了一种基于MLIR的大型语言模型编译方法，通过两种自定义方言（TopOp和TpuOp）将模型从框架无关的语义逐层降低为硬件专用指令，并针对自回归推理阶段（预填充、预填充KV和解码）引入三阶段静态编译。