mobile-computing

LeanStream是一种流式推测与精炼框架，通过逐步优化计算和I/O操作，实现高效的设备端LLM推理，减少内存使用并提高吞吐量。

本文探讨了提示属性（如认知负荷和措辞模式）如何影响设备上LLM推理的能耗，表明认知负荷影响每个令牌的能耗，而措辞模式通过令牌使用影响能耗，强调了为能效设计模型感知提示的必要性。