recurrent-states

PACE 是一种免微调的后训练四比特量化器，用于线性注意力循环状态，通过降低量化频率（每隔几个 token 才舍入一次）并采用列对齐的量化尺度来减少误差，从而在 4B-35B 参数混合模型上以约三分之二的内存达到与八比特 DAMP 相当的性能。

这篇论文提出将注意力的指数核展开为 n 项截断 Taylor 级数，并将每项分解为张量幂内积，从而用固定数量的循环状态实现线性时间 Transformer，实测在长上下文下相比 softmax 注意力有显著加速和常数解码延迟。

ReaDy introduces a speculative decoding method that uses hybrid linear attention recurrent states as dynamic context for drafting, achieving a 3.16x decoding speedup over autoregressive generation with Qwen3.8-27B on an NVIDIA B200 while improving throughput and acceptance length over DSpark across seven benchmarks.