cache-sharing

介绍了RKSC，一个无需训练的推理框架，用于多分支LLM推理，通过基于相似度的共享和提前退出减少KV缓存冗余，实现最高3倍加速且错误率极低。