我们开源了 NeuDecide：一个 43 MB 的音频到工具调用模型，附带 WASM 浏览器演示

我们是 Neuphonic 团队，现以 Apache 2.0 协议开源 NeuDecide。它接收音频输入和工具定义，直接返回带有参数的工具调用，无需中间转录步骤。模型文件总计 43 MB，推理仅需单 CPU 线程即可运行。在浏览器中试用 WASM 演示：选择预设或自定义工具，录制或上传音频，然后查看返回的工具调用。演示链接 https://i.redd.it/jdj9glx088uh1.gif 性能表现 在 SLURP 的工具调用任务中（可用工具数为 10），NeuDecide 直接从语音生成工具调用（无需转录）的准确率达到 72.4%：约为 Nvidia Parakeet + Google FunctionGemma（24.4%）的 3 倍。约为 Cactus（Whistle + Needle）（20.7%）的 3.5 倍。 https://preview.redd.it/kig4izdl88uh1.jpg?width=3504&format=pjpg&auto=webp&s=6d0de95871aa930161153fb7b30ddbb769aae920 在单 CPU 线程上运行： MacBook Pro M3：调用耗时 46 ms，加载耗时 159 ms，峰值内存 149 MB。 Samsung S24+：调用耗时 82 ms，加载耗时 267 ms，峰值内存 174 MB。 Raspberry Pi 5：调用耗时 206 ms，加载耗时 499 ms，峰值内存 146 MB。 工作原理 导出包包含三个 ONNX 计算图： 音频编码器处理语音输入。 工具编码器将音频表示与经过分词的 JSON 工具定义进行融合。 解码器使用缓存的键值对逐 token 生成工具调用。 工具列表作为每次请求的输入，因此更换可用操作无需重新训练。 https://preview.redd.it/9g6mb03688uh1.jpg?width=3504&format=pjpg&auto=webp&s=9436dc7f96cd66918c7472ae219ad7f78c1974f2 用你自己的工具试试 该项目源于我们与机器人合作伙伴的合作，他们需要在受限硬件上实现语音控制。演示包含扫地机器人、车载控制和智能家居的可编辑预设，同时提供自定义选项来测试你自己的工具定义。 我们还为 Python 打包了 NeuDecide，你可以本地运行推理并用自己的工具定义进行测试。我们选择 Apache 2.0 协议，是为了让大家更容易基于该模型进行构建和贡献。我们一直关注 TypeSafe、Cactus 等在该领域的成果，希望这个项目也能带来一些有价值的东西。 技术博客：https://www.neuphonic.com/blog/neudecide Python 包：https://github.com/neuphonic/neudecide Hugging Face 模型：https://huggingface.co/neuphonic/neudecide 如果你尝试使用了它，我们很想知道你使用的硬件、工具定义，以及模型在哪些请求上表现不佳。