PACE：四位循环状态的周期性与列对齐编码

Hugging Face Daily Papers 论文
quantization linear-attention recurrent-states inference-efficiency memory-optimization language-models

摘要

PACE 是一种免微调的后训练四比特量化器，用于线性注意力的循环状态。它通过降低量化频率（每隔几个 token 才进行一次舍入）并采用按列共享的量化尺度来减少误差，从而在 4B–35B 参数的混合模型上，以约三分之二的内存达到与八比特 DAMP 相当的性能。

线性注意力语言模型将上下文保存在一个固定大小的循环状态中，推理系统会为同时解码的每个序列各存储一份该状态的副本。因此，以更低精度存储状态可以让更多序列共享加速器。现有的状态量化器在每个生成的 token 之后都会进行舍入，并报告称除非提高位宽或对模型进行微调，否则四比特会损失精度。\par 我们提出 PACE，一种事后四比特状态量化器。PACE 仅每隔几个生成的 token 才对状态进行一次舍入——分块内核在预填充阶段本来就是每个分块舍入一次——并将其间生成的 token 保存在一个小缓冲区中。更频繁的舍入（此处指降低舍入频率）能减少状态中累积的误差。此外，我们发现 gated-delta 状态中的较大元素倾向于聚集在某些列上，因为每个 token 处写入的更新项中，某些通道在许多 token 上都保持较大值。因此，PACE 在同一列内共享量化尺度。它还会将舍入误差保留最久的注意力头保持为八比特。在四个从 4B 到 35B 参数的混合模型上，PACE 配合四比特与八比特混合头，在三个较大的模型上以约三分之二的内存与八比特 DAMP 竞争力相当；PACE 全程使用四比特头时，在相同内存下得分高于 Q-Mamba；而每隔几个 token 进行一次舍入也保留了缓冲区带来的解码加速。
查看原文
查看缓存全文

缓存时间: 2026/10/22 16:26

Paper page - PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

Source: https://huggingface.co/papers/2610.29545

Abstract

PACE 是一种面向线性注意力循环状态的事后（post-hoc）四比特量化器，它降低量化频率并采用按列的缩放因子以减少误差，从而在无需微调的情况下降低显存占用。

线性注意力 (https://huggingface.co/papers?q=Linear-attention)语言模型将上下文保存在固定大小的循环状态 (https://huggingface.co/papers?q=recurrent%20state)中，推理系统会为同时解码的每条序列各保存一份该状态。因此，以更低精度存储状态即可让更多序列共享同一个加速器。现有的状态量化器 (https://huggingface.co/papers?q=state%20quantizer)在每生成一个 token 后就对状态进行量化，并指出四比特会损失精度，除非提高位宽或对模型进行微调。\par 我们提出PACE (https://huggingface.co/papers?q=PACE)，一种事后的四比特状态量化器 (https://huggingface.co/papers?q=state%20quantizer)。PACE (https://huggingface.co/papers?q=PACE)每隔几个生成的 token 才对状态量化一次——正如分块内核 (https://huggingface.co/papers?q=chunked%20kernels)在预填充阶段每个分块只做一次那样——并把其间生成的 token 保留在一个小缓冲区中。量化频率降低减少了在状态中累积的误差。此外，我们发现门控 delta 状态 (https://huggingface.co/papers?q=gated-delta%20state)中的较大元素会聚集在列上，因为在每个 token 写入的更新中，某些通道的值在多个 token 上持续保持较大。因此，PACE (https://huggingface.co/papers?q=PACE)在同一列内共享一个量化缩放因子 (https://huggingface.co/papers?q=quantization%20scale)。它还将保留量化误差时间最长的头保持为八比特。在从 4B 到 35B 参数的四个混合模型上，采用四比特与八比特混合头 (https://huggingface.co/papers?q=mixed%20four-%20and%20eight-bit%20heads)的PACE (https://huggingface.co/papers?q=PACE)在三个较大模型上与八比特DAMP (https://huggingface.co/papers?q=DAMP)相当，而显存仅约为后者的三分之二；全四比特头的PACE (https://huggingface.co/papers?q=PACE)在同等显存下得分高于Q-Mamba (https://huggingface.co/papers?q=Q-Mamba)；每隔几个 token 量化一次也保留了缓冲区带来的解码加速。

View arXiv page (https://arxiv.org/abs/2610.29545)View PDF (https://arxiv.org/pdf/2610.29545)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2610.29545)

Get this paper in your agent:

hf papers read 2610\.29545

Don’t have the latest CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

Models citing this paper0

No model linking this paper

Cite arxiv.org/abs/2610.29545 in a model README.md to link it from this page.

Datasets citing this paper0

No dataset linking this paper

Cite arxiv.org/abs/2610.29545 in a dataset README.md to link it from this page.

Spaces citing this paper0

No Space linking this paper

Cite arxiv.org/abs/2610.29545 in a Space README.md to link it from this page.

Collections including this paper0

No Collection including this paper

Add this paper to acollection (https://huggingface.co/new-collection)to link it from this page.

相似文章

Q-PACE：面向量化感知训练的动态精度分配

arXiv cs.LG

Q-PACE 提出一种基于二阶敏感度模型的动态精度分配方法，用于量化感知训练（QAT），在预训练和监督微调实验中（模型规模达4B参数）相比现有混合精度训练方案取得了更优效果，并在更低内存预算下达到可比拟的损失。研究还发现量化敏感度可通过深度和层类型高度预测，从而支持低成本的低频重校准。

线性注意力的量化（Qwen 与 Kimi）

Reddit r/LocalLLaMA

腾讯研究人员在 Hugging Face 上发布了 STEPQuant，一个针对 Delta-rule 循环状态的空间-时间后训练量化框架，仅用 6-bit 状态即可匹配 FP32 精度，并将服务内存最多削减 68.7%。

Kairos：迈向适用于所有模态的字节级基础模型

arXiv cs.LG

论文提出 Kairos——一个基于字节级别的多模态基础模型，结合 LiZAttention2（双向门控 DeltaNet 线性注意力 + 滑动窗口注意力）、稀疏 MoE 前馈层与多尺度字节编解码器，并在极小规模上进行收敛性验证实验，报告编解码器与注意力变体对损失的影响。

面向脑编码的参数高效微调扩展

Hugging Face Daily Papers

该论文提出使用参数高效微调（PEFT/低秩适配器）来适配超大多模态骨干网络进行脑编码，Brain LoRA 在 Algonauts 2025 挑战赛中取得最佳公开成绩，并通过 multi-LoRA kernel 支持 200+ 模型集成。