state-restore

本文详细介绍了一个关键bug：在llama-server中，由于缺少检查点元数据，恢复的KV缓存会立即被丢弃。文章提供了一个117行的修复方法，使用sidecar文件跨重启持久化检查点，实现了约720倍的预填充加速。