jetson-orin-nano

PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行，处理速度为 4.31 tokens/s，提示处理速度为 27 t/s，使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。

一项对8个小型LLM（参数规模从1.35亿到约10亿）在售价250美元的Jetson Orin Nano Super上进行的深入基准测试，涵盖四种功率模式，发现25W是帕累托最优模式，其中SmolLM2-135M达到165.1 tok/s，效率最高。