我在完全不使用任何专有推理库的情况下构建了一个 RK3588 NPU 运行时：Qwen3.5-4B 达到约 10 tok/s，速度约为厂商 SDK 的 2 倍

Reddit r/LocalLLaMA 工具
rk3588 npu llm-inference rust open-source edge-ai rockchip

摘要

一位开发者发布了 open_rknpu2_lm_infer，这是一个用 Rust 和 C++ 编写、面向 Rockchip RK3588 NPU 的开源 LLM 推理引擎，它绕过了专有厂商库，运行 Qwen3.5-4B 的速度约为 Rockchip RKLLM SDK 的两倍，并支持多模态输入和投机解码。

如果你有一块 RK3588 开发板，这里有另一种让它的 NPU 发挥作用的方式。我制作了 open_rknpu2_lm_infer，一个面向 Rockchip RK3588 NPU 的本地 LLM 推理引擎。它无需 Rockchip 的专有用户态推理库即可运行。上层部分用 Rust 编写，NPU 算子则用 C++ 实现。没有黑盒——你可以真正阅读、修改并魔改宿主推理代码和 NPU 算子的执行。目前支持 Qwen3.5-4B，包含图像输入以及可选的 MTP 投机解码。而且它很快！Github: https://github.com/happyme531/open_rknpu2_lm_infer 与 RKLLM 的快速对比 1.3.1 Qwen3.5-4B 测试 RKLLM 1.3.1 open_rknpu2_lm_infer MTP1 Prefill，512 token 提示 58.35 tok/s 147.83 tok/s Prefill，3,800 token 提示 54.03 tok/s 139.92 tok/s 512 token 后的 Decode 5.54 tok/s 10.61 tok/s 3,800 token 后的 Decode 4.57 tok/s 9.90 tok/s 当前特性： 终端聊天或 OpenAI 兼容 API，支持流式输出、工具调用和前缀缓存。 Qwen3.5-4B 图像输入，与文本推理并行。 已验证的 checkpoint：Qwen3-4B、Qwen3.5-4B、Granite-4.2-3B 和 MiniCPM5-2B。 预构建的 ARM64 Linux 二进制文件以及量化模型下载链接。 即将推出的功能： DFlash 和 DSpark 投机解码 MiniCPM-V 4.7 35a3，带专家预取 如果你有 RK3588 开发板，我很乐意对比不同板卡和内存配置下的结果。分享你的板卡、驱动版本、模型和速度——或者在出现问题时提一个 issue。如果你尝试后觉得有用，欢迎给个 GitHub star！
查看原文

相似文章

我为 16GB 显存的 GPU 构建了 Ninfer 4080

Reddit r/LocalLLaMA

一位社区开发者发布了 Ninfer 4080，这是一个优化的本地推理运行时，可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型，通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。