为Orange Pi AIPro（Ascend 310B）上的MiniCPM-V 4.6编写自定义C++引擎以绕过框架开销

大家好，我只想分享一下过去几周一直在做的项目。我从零开始构建了一个C++推理引擎，完全在Orange Pi AIPro（搭载Ascend 310B NPU的廉价板卡，价格约149美元，拥有20 TOPS INT8 / 10 TFLOPS FP16性能）上运行MiniCPM-V 4.6。 如果你想查看自定义操作、构建脚本或Gradio Web UI，该仓库在GitHub上开源，地址为[github.com/lvyufeng/minicpm-v-4.6-orangepi](http://github.com/lvyufeng/minicpm-v-4.6-orangepi) https://preview.redd.it/upfsqb0jm73h1.png?width=1655&format=png&auto=webp&s=1e80185171fa6db651d81e20d717b3a05791614c 如果你曾尝试在这款特定硬件上部署本地LLM或VLM，你可能知道处理标准框架栈会非常麻烦，尤其是想要在边缘获得不错的性能时。 为了解决这个问题，我跳过了沉重的框架，直接使用底层编程。文本生成和SigLIP视觉塔都在单个C++子进程中的NPU上原生运行。热路径上完全没有torch\\_npu依赖。Python仅在冷路径上用于CPU端的标记化和图像预处理。 初始的原始aclnnMm基线在令牌解码阶段表现相当糟糕，因为当M=1（向量-矩阵乘法）时，它严重未充分利用NPU的立方单元。其性能约为2.88 tokens/s（每步约350ms）。 在用自定义AscendC内核重写关键路径后，现在FP16下达到了5.90 tokens/s（每步延迟降至170ms）。 以下是2倍加速的实际分解： |**阶段**|**Token/s**|**每步(ms)**|**节省时间**| |:-|:-|:-|:-| |原始`aclnnMm`基线|2.88|350 ms|—| |+ 自定义立方矩阵乘法（$M=1$）|4.37|229 ms|121 ms| |+ `lm_head` 16分块立方路径|4.99|200 ms|29 ms| |+ 向量化Causal-Conv1d步进内核|**5.90**|**170 ms**|30 ms| 首先，我使用MatmulImpl为M=1编写了一个自定义立方矩阵乘法内核，以绕过缓慢的通用向量路径。这一改变将速度从2.88 tps提升到4.37 tokens/s，每步节省了约121ms。 其次，lm\\_head对于正常的立方分块来说太宽了，因为词汇量巨大（约248k）。直接运行原始矩阵乘法是一个瓶颈。因此，我让引擎在加载时将权重分块为16个对立方友好的切片，然后运行顺序矩阵乘法并进行主机规约。这又节省了29ms，将其提升到4.99 tokens/s。 第三，我使用统一缓冲区DMA将高度标量的causal-conv1d基线替换为向量化步进内核，每步又节省了30ms，最终达到5.90 tokens/s。 目前，解码步骤完全受限于板卡44 GB/s的内存带宽读取FP16权重。每步读取1.4GB权重的绝对理论下限约为32ms，而我当前的立方路径为170ms。 下一步逻辑是在立方路径上实现融合的INT4/INT8反量化内核，以将其推至12+ tokens/s。 如果你对AscendC内核调优、C++ SigLIP实现或一般的边缘VLM部署有任何疑问，请告诉我！