streaming-framework

LeanStream是一种流式推测与精炼框架，通过逐步优化计算和I/O操作，实现高效的设备端LLM推理，减少内存使用并提高吞吐量。