标签
用户报告在Jetson Orin NX 16GB边缘设备上成功运行了量化到1-bit的27B参数模型，对可行性表示惊讶。
一位开发者使用Jetson Orin NX和Gemma 4 E4B模型打造了一款名为Sparky的完全离线行李箱机器人，实现了约200毫秒的缓存TTFT和14-15 tok/s的处理速度，通过30多个传感器以自然语言形式将数据输入提示词，全程无网络连接。