cross-layer

DepthWeave-KV 是一种令牌自适应跨层残差分解方法，用于在长上下文Transformer推理中压缩KV缓存。该方法在64K上下文下实现8.3倍内存缩减和72.8令牌/秒的吞吐量，同时在各项基准测试中保持了接近完整缓存的任务质量。

InnerZoom提出了一种单前向框架，用于GUI定位中的跨层证据桥接，在多个基准测试上实现了最先进的性能，同时将延迟降低高达31.8%。