tiny-llms

一项对8个小型LLM（参数规模从1.35亿到约10亿）在售价250美元的Jetson Orin Nano Super上进行的深入基准测试，涵盖四种功率模式，发现25W是帕累托最优模式，其中SmolLM2-135M达到165.1 tok/s，效率最高。