标签
本文提出了一种两阶段方法论,用于在空间NPU上进行端到端大语言模型(LLM)部署,从人工引导开发逐步过渡到自主智能体技能系统。该系统在参考模型上实现了预填充阶段2.2倍、解码阶段4.0倍的加速,并以极少的人工引导在AMD XDNA 2 NPU上自主部署了另外八个LLM。