Show HN: Needle2：面向手机、可穿戴设备、智能家居和机器人的14MB智能体LLM

# Needle 2 - 面向微型设备的 14 MB Agentic LLM | Cactus 今天，我们发布 Needle 2：一个面向工具调用、设备使用和结构化抽取的开放**45M 参数**模型。整个模型是一个单一的 14MB 二进制文件，完整会话仅需 28MB RAM。它基于我们的 Simple Attention Network (https://arxiv.org/abs/2607.18363) 研究成果构建，采用 **Cactus Quants** 压缩至 **CQ2-bit**，并集成到其自研引擎中。 在工具调用和移动设备使用基准测试中，Needle 2 与 FunctionGemma 270M、LFM2.5 230M、Apple FM 等其他小模型互有胜负；它的体积小 5× 到 70×，且只有 2 bit，而它们是 f16。Needle 在 Raspberry Pi 5 上达到 **500 tokens/sec** 解码速度，在 Meta Quest 3S 和 Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，在三星 A 系列等 200 美元以下手机上为 300–700 tokens/sec。峰值会话内存约 28MB，因此 Needle 可以在 ESP32-S3 等新型微控制器上运行。 Playground 让你可以为可穿戴设备、机器人、智能家居、手机和汽车测试 Needle。Needle 采用 Apache 2.0 许可，权重已发布在 Hugging Face (https://huggingface.co/Cactus-Compute/needle-2)；仓库 (https://github.com/cactus-compute/needle) 能让你快速上手。 45M 参数 800+ tok/s Pi5 预填充 500+ tok/s Pi5 解码 CQ2-bit 压缩 14 MB 文件大小 28 MB 会话内存 **图 1.** 在面向智能设备及更低端设备设计的最小模型中，Mobile-Actions（google/mobile-actions eval 划分，961 行）上的有序严格精确匹配与总参数量的对比。Needle 2 是通过随附二进制、以 CQ2-bit 部署精度、开启工具检索端到端测量的；基线在 vLLM 下运行发布的 checkpoint，Apple FM 在设备上运行。 ## 我们的赌注 **将端侧 AI 带到 200 美元以下的设备：** Edge AI 最近一直被等同于 Mac 和 PC，但边缘主要是廉价硬件：超过 210 亿台联网 IoT 设备，而 PC 约 15 亿台；在新兴市场，大多数手机的出货价低于 200 美元。算上平价手机、Raspberry Pi、微控制器、可穿戴设备、像 Reachy Mini 这样的小型机器人，以及智能家居设备，大约五分之四的边缘设备价格低于 200 美元。这就是 Needle 所瞄准的硬件：没有 GPU、没有 NPU、只有几百 MB RAM。 **函数调用与设备使用：** 开灯不需要一个前沿模型。手表、家居、机器人：每个都已经把自身能力暴露为带类型参数的函数，所以唯一困难的部分是将一句杂乱的话映射到这些函数上：哪个函数，用哪些值。这样定义后，问题就不再需要世界知识，也不需要开放式散文，这也就是为什么在对话需要数十亿参数的地方，4500 万参数就足够了。这个更小的表述方式，是其他一切赌注所依据的根基。 **抽取与结构化输出：** schema 即接口，同样的表述也适用于文档：一个 schema 加上一段文字，就能返回类型化字段；一个 enum 字段就是一个分类器；一个 array 字段则在一次调用中收集一个列表。我们用契约而非约定来强制这一点：每一轮都用调用信封（call envelope）回答，空调用就是拒绝，从声明 schema 编译出的字节级文法约束着每一个 token。文法承担了语法部分，因此全部 4500 万参数都用于选择函数并把参数锚定到用户的措辞中。 **端云协同：** 没有哪个小模型能覆盖一切，所以 Needle 会明确说不，而不是猜测：每个响应都带有学习到的置信度分数，离题请求则返回空调用。高于你的阈值，就执行；低于阈值，就再问一次或升级到云端。大多数设备请求是常规控制，所以升级很少发生，默认路径保持私密、即时、免费。 **无损 2bit 量化：** 小模型在事后量化（post-hoc quantization）下会崩坏，因此我们从不事后量化：Needle 2 从预训练到后训练都针对 Cactus Quants 进行训练，权重、激活值、KV cache 都一样。你部署的 2bit 模型就是被训练的那个模型。这正是把 4500 万参数塞进 14MB、且在我们的一组测试中毫无损失的原因。 **模型与推理协同设计：** 每一个架构选择在赢得它的参数之前，都在目标硬件上经过基准测试。交付物是这一对组合，而不仅仅是权重：一个无依赖的 C++ 二进制文件，启动时探测 CPU 并选择内核，模型、tokenizer 和文法编译器都封装在其中。一个工件就能从 Cortex-M 跑到 x86 再到 WebAssembly。无需安装任何东西，也无需下载任何东西。 **在 Mac/PC 上微调：** 每个产品都有自己的工具词汇表，而 4500 万参数的模型足够小，可以在