dialects

标签

Cards List
#dialects

一种基于MLIR的大型语言模型编译方法

arXiv cs.CL · 4天前 缓存

本文提出了一种基于MLIR的大型语言模型编译方法,通过两种自定义方言(TopOp和TpuOp)将模型从框架无关的语义逐层降低为硬件专用指令,并针对自回归推理阶段(预填充、预填充KV和解码)引入三阶段静态编译。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈