标签
MicroLLM Lab是一个基于浏览器的工具，允许用户使用JavaScript对7个微型语言模型进行测试和基准测试，提供速度与准确性指标。
一项对8个小型LLM（参数规模从1.35亿到约10亿）在售价250美元的Jetson Orin Nano Super上进行的深入基准测试，涵盖四种功率模式，发现25W是帕累托最优模式，其中SmolLM2-135M达到165.1 tok/s，效率最高。