software-optimization

本文认为，AI推理成本的快速下降是由软件优化而非硬件改进驱动的，并且运行在消费级GPU上的开放权重模型正变得越来越能与前沿模型竞争。

Luce Megakernel 证明NVIDIA的效率差距是软件问题，在RTX 3090上相比llama.cpp实现了1.8倍吞吐量，并以更低的成本匹敌Apple M5 Max的效率。