attention-optimization

TTKV借鉴人类记忆机制，提出时间分层KV缓存，在128K上下文LLM推理中降低76%延迟、吞吐量翻倍，跨层流量减少5.94倍。