compression

本文提出代数整数量化（AIQ）作为大语言模型推理的有损压缩格式，利用代数整数可实现无误差乘加运算的特性构建矩阵乘法引擎，在等比特预算下达到与业界标准 MX 格式竞争的精度。

一篇解析文章，探讨一个 Git 提交实际占用多少磁盘空间，通过测量微小提交和大型提交的松散对象开销，展示 Git 的 zlib 压缩和 packfile 机制如何让存储变得极其高效。

本次研究发布介绍了一种名为 RCOL 的技术，它是一种针对 Qwen 3.5 2B 模型的改进型动态低位量化方法（支持 IQ1_M、IQ2_M、IQ3_M），可在严格显存限制下运行，与标准的 llama.cpp imatrix 量化相比，KL 散度有显著改善，尤其在极低比特率下表现突出。

论文提出 D-SLR（不相交行稀疏加低秩）分解，作为截断 SVD 的闭式替代方案，通过要求每行要么原样存储、要么由低秩拟合来消除耦合，在平方误差下不损失最优性，且无需迭代求解或调参。

IBM Research与UIUC的研究人员提出Universal Attention，一种自剪枝transformer框架。该框架将一阶与二阶key统计量结合为表达能力更强的遗忘门，在保留RoSoftmax注意力机制的同时，实现了最先进的10倍KV-Cache压缩，并在16k上下文长度下达到25倍压缩率。

LatentGRM 提出了一种基于语义分块与压缩重建的潜在评估框架，通过在连续隐空间中完成 rubric 引导的成对偏好判断，将评估轨迹压缩 8.9–9.2 倍并把推理时间减少 6.1–7.0 倍，同时保持与显式 SFT 评委相当的偏好准确率。

一个团队声称通过用 FFT 将 AdamW 的梯度状态变换到频域，丢弃低能量频率而非使用量化，把优化器状态的显存占用减半。代价是每步额外的计算量，但 OOM 风险几乎为零。他们正在分享自己的 Colab 环境和基线权重，并询问其他人是否也在探索非量化的显存削减方法。

Scion-35B-A3B 将 35B-A3B MoE 压缩为单个 11.34 GB 的 GGUF 文件，仅需 2.61 bpw，采用三值专家库加上训练得到的 rank-512 修正，在 llama.cpp 上实现了 2-bit 档位中最佳的困惑度，同时保持了 Q4 级别的任务表现。

本文提出了先验拟合语言模型（Prior-Fitted Language Model, PFLM），这是一个3亿参数的字节级Transformer，完全基于合成结构因果模型生成的样本进行预训练，使其能够在权重冻结的情况下通过上下文学习语言，尽管从未接触过任何真实文本。实验结果显示，其自然语言建模能力接近主流水平，并具备算术运算与压缩能力，在多个领域优于gzip/PPMd，这表明模型实现的是语言的元学习，而非记忆。

ShamAN-Q 提出一种亚1比特后训练量化方法，通过用 Shampoo 优化器启发的稠密曲率度量（Kronecker 拟合经验 Fisher 信息矩阵）替代 NanoQuant 的对角重构几何，在 1 bpw 下显著降低 Qwen3-Base 在 WikiText-2 上的困惑度，并保持零样本准确率。

zeux 详细介绍了 meshoptimizer 的分层级联 LOD 与 glTF 压缩扩展（EXT/KHR_meshopt_compression）的改进，这些改进是在 NVIDIA 更新了 vk_lod_clusters 示例及其包含 16 亿三角形的 Zorah 场景之后展开的，重点展示了场景数据体积的大幅缩减以及路径追踪性能的提升。

本可行性研究在AFRL的GOTCHA SAR相位历史数据上，将小型卷积自编码器与分块自适应量化（BAQ）进行基准对比，发现学习式编码器在各速率下均处于劣势。研究还揭示了评估中的陷阱，如CFAR边界伪影和截断范围敏感性，并提出了一套面向学习式雷达压缩的评估协议。

本文通过从上下两侧对最小词元数进行界定，量化了分词前边界规则的压缩代价，并证明了在英文维基百科上，正则边界会使最优词元数增加28.3%–36.8%；同时表明，以压缩最优化为目标构建的词元字典并不一定能提升语言模型的预测质量。

本文描述了构建自定义二进制格式以减少 JSON 数据大小达 80%，由此创建了 jBin，一种用于高效数据打包的二进制模式语言。

QuantWM 提出一种免训练的 2-bit KV cache 量化框架，通过量化敏感性感知聚类（QSAC）与主子空间注意力补偿（PSAC）来稳定视频世界模型的注意力 logits，缓解时间闪烁与视觉退化，并在多个基准上实现最高 6.20 倍 KV cache 内存压缩。

ISTA-DASLab 发布了 Qwen3.8-Flash-Next 的能力目标压缩版本，该版本剪掉一半路由专家，并以 3.5 bpw 存储剩余权重，将 354 GB 的模型压缩至 29.6 GB，使一个 176.9B 参数的模型能够放入单个 32 GB 加速器中，同时在 LiveCodeBench v6 上保留 98.7%、在 SWE-bench Verified 上保留 91.3% 的得分。

OrcaSAQ2 27B 是 Qwen3.8-27B 的高保真3位量化版本，将大小从54 GB减少到12.3 GB，困惑度增加极小且一致性高，针对长期代理和推理任务进行了优化。

本文推导了资源充足学习中精确的任务信息-状态前沿，展示了有限的先验任务信息如何通过低秩算子的分区减少保留状态，并应用于注意力和数字孪生模型。

作者认为AI的瓶颈在于记忆和压缩，将LLMs与人类记忆效率进行比较，并建议改进工具集成以提高性能。

这条推文表达了对 DSV4.1 中 Engram 表格的兴奋之情，强调了它们在压缩和缓存技术中的作用。