npu

逆向工程了RK3588 NPU并构建了一个开放编译器和运行时，以从PyTorch、ONNX和JAX运行GPT-2和SigLIP，无需供应商SDK。

介绍了AgenticCANN，一种知识增强的智能体进化框架，用于在华为NPU上自动生成Ascend C算子，在多种算子模式上实现了显著加速和更高的可行性。

微软宣布NPU和CPU的视频超分辨率功能正式发布，利用设备端AI增强低分辨率视频质量。

本文介绍了SLAI T-Rex，一种面向昇腾NPU SuperPOD上万亿参数MoE模型的全参数后训练优化框架，实现了34.22%的MFU，并在运筹学任务上比GPT-5.4-Mini高出3.98个百分点。

本文献综述分析了持续负载下移动设备、NPU和GPU上LLM推理的性能效率权衡，重点关注手机上LLM的基准测试。

Hawk是一个无需训练的框架，通过利用硬件感知知识来提升大语言模型在NPU内核生成上的表现，将生成准确率从49.4%提升至80.0%，并相比当前最优基线实现最高2.2倍的执行加速。

AMD Strix Halo 设备上的 NPU 现在可用于 AI 推理，支持混合模式，结合 NPU 和 iGPU 以实现更快的提示处理。Lemonade 和 AMD 的 ROCm 等软件使之成为可能。

逆向工程 Qualcomm NPU 编译器揭示了未文档化的 VTCM 内存管理、基于 MILP 的布局、自动精度更改，以及一个用于边缘部署优化的隐藏分析模拟器（Hextimate）。

Gemma 4 E2B 在采用OpenVINO与LiteRT NPU支持的英特尔AI PC上，实现了预填充速度提升1.3倍、每瓦性能提升2.8倍，从而能够高效运行后台LLM任务。

xdna-top 是一款终端监视器，可在 Ryzen AI Max/Strix Halo 系统上同时显示 NPU 和 iGPU 活动，提供 NPU 计数器增量的真实视图，而非虚假的利用率百分比。

本文介绍了首个完全运行在移动NPU（Snapdragon X Elite上的Qualcomm Hexagon）上的端到端RAG流水线，相比CPU实现了高达18倍的LLM预填充加速和4倍的能耗降低，且无质量退化。

Sipeed新款K3 RISC-V单板计算机配备32GB LPDDR5内存和60 TOPS的NPU，可本地推理大语言模型，速度高达每秒15个token。

关于在AMD Ryzen AI 7 350 NPU上实现峰值TOPS性能的技术深度剖析，与Xilinx AIE-ML v2 AI引擎进行比较，并解释用于矩阵乘法工作负载的硬件架构。

一条推文指出，编码智能体能帮助阐明复杂概念，并以 GPU 与 NPU 在设备上的内存竞争为例，通过代码进行了演示。