标签
PACE 是一种免微调的后训练四比特量化器，用于线性注意力的循环状态。它通过降低量化频率（每隔几个 token 才进行一次舍入）并采用按列共享的量化尺度来减少误差，从而在 4B–35B 参数的混合模型上，以约三分之二的内存达到与八比特 DAMP 相当的性能。
这篇论文提出将注意力的指数核展开为 n 项截断泰勒级数，并将每项分解为张量幂内积，从而用固定数量的循环状态实现线性时间 Transformer，实测在长上下文下相比 softmax 注意力有显著加速和常数解码延迟。
ReaDy 提出了一种推测性解码方法，利用混合线性注意力的循环状态作为草稿生成的动态上下文，在 NVIDIA B200 上使用 Qwen3.8-27B 实现了 3.16 倍的解码加速，相比 DSpark 在七个基准测试上均提升了吞吐量和接受长度。