@DanKornas: 需要在设备上运行神经网络而不添加一堆运行时依赖？ncnn 是一个神经网络推理…

X AI KOLs Timeline 工具
neural-network inference-framework open-source mobile embedded vulkan on-device

摘要

ncnn 是一个轻量级的开源神经网络推理框架，用于将 PyTorch 和 ONNX 模型部署到移动端、嵌入式设备和桌面端，无需繁重的依赖，支持 CPU 和 Vulkan GPU 后端。

需要在设备上运行神经网络而不添加一堆运行时依赖？ ncnn 是一个面向 AI/ML 工程师的神经网络推理框架，用于将模型部署到移动端、嵌入式设备和桌面端。 它通过 pnnx 将 PyTorch 和 ONNX 模型转换为 ncnn 格式，然后通过 CPU 或 Vulkan GPU 后端运行推理，从而帮助你将模型迁移到设备上。 主要特性： • 模型转换 – pnnx 将 PyTorch 和 ONNX 模型转换为 ncnn 格式。 • 精简运行时 – 无第三方运行时依赖，无需 BLAS/NNPACK。 • CPU 执行 – 支持 ARM NEON 优化和多核调度。 • GPU 加速 – 在支持的平台上提供 Vulkan 后端。 • 部署选项 – 提供 C++ 核心、C API、Python 绑定、示例以及针对移动端、桌面端、浏览器和边缘设备的构建指南。 它是开源的（BSD 3-Clause 许可证；捆绑的第三方组件保留其自身许可证）。 链接在回复中
查看原文
查看缓存全文

缓存时间: 2026/07/27 19:56

需要在不添加一堆运行时依赖的情况下，在设备上运行神经网络？

ncnn 是一个面向 AI/机器学习工程师的神经网络推理框架，用于将模型部署到移动端、嵌入式设备和桌面端。

它通过 pnnx 将 PyTorch 和 ONNX 模型转换为 ncnn 格式，然后通过 CPU 或 Vulkan GPU 后端进行推理，帮助你将这些模型移植到设备上。

主要特点：

  • 模型转换 – pnnx 将 PyTorch 和 ONNX 模型转换为 ncnn 格式。
  • 轻量级运行时 – 无需第三方运行时依赖，也不需要 BLAS 或 NNPACK。
  • CPU 执行 – 支持 ARM NEON 优化和多核调度。
  • GPU 加速 – 在支持的平台上提供 Vulkan 后端。
  • 部署选项 – 提供 C++ 核心、C API、Python 绑定、示例代码以及针对移动端、桌面端、浏览器和边缘设备的构建指南。

它是开源的（采用 BSD 3-Clause 许可证；捆绑的第三方组件保留其自身许可证）。

链接见回复

相似文章