ml-inference

描述了使用 ncnn 的 Vulkan 后端在生产级边缘设备上进行供应商无关的机器学习推理，在人脸检测和嵌入模型上相比 CPU ONNX 实现了 10 倍加速。

Onepot AI 通过将机器人合成与在 Anyscale 上进行的大规模机器学习推理相结合，仅需5天即可合成并交付定制分子，从而极大地加速了药物发现。

该基准测试将 Gemma 4 的多 Token 预测 (MTP) 与 z-lab 的 DFlash 推测性解码方法在单张 H100 GPU 上进行了比较，结果显示 MTP 在密集模型上更快，而 DFlash 在 MoE 模型上更快。