kv-cache-streaming

llama.cpp 的一个自适应 KV 缓存流式传输分支，使得在 16GB RTX 5070 Ti GPU 上运行 Qwen 3.8 27B 模型并支持 262K 上下文成为可能，通过在内存与显存间高效管理，实现了约 25 tok/s 的速度。