标签
一位 AMD 工程师为 FFmpeg 的 DNN 过滤器贡献了 ONNX Runtime 后端，使其能够在 GPU 和 NPU 平台上进行 AI 模型推理，用于超分辨率、目标检测等任务，尤其让 Ryzen AI NPU 在 FFmpeg 中发挥作用。
一项针对仅CPU硬件上Parakeet TDT 0.6B ASR模型的ONNX Runtime、HF Transformers与GGUF的基准测试显示，ONNX Runtime的推理速度比HF Transformers bfloat16快37%，而GGUF则优先考虑内存效率。
Supertone released Supertonic 3, an open-source TTS model with 99M parameters that runs faster on CPU than a 2B model on A100, supporting 31 languages and ONNX Runtime for fully local inference.
一篇博客文章，详细介绍了如何检测 Snapdragon 在 CI 中的静默 NPU 回退，包括在真实硬件上运行、基于变异系数的门控以及解析 ORT 性能分析 JSON 以识别回退操作等方法。
Supertonic 是一个开源的端内文本转语音（TTS）系统，专为本地推理设计，具有极低的开销。现已发布第 3 版，支持 31 种语言，并提升了准确性。