LZ-RDO 正式加入 ARM 的 astc-encoder

Hacker News Top 工具

摘要

由 Jon Olick 开发、Fabian Giesen 优化的 ASTC 纹理 LZ-RDO 率失真优化技术已合并到 ARM 的 astc-encoder 中(PR #781),开发者只需使用一个命令行标志,即可缩小经 LZ 压缩的纹理包的下载体积。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/11/20 21:12

# LZ-RDO 正式加入 ARM 的 astc-encoder 来源:https://www.jonolick.com/home/lz-rdo-lands-in-arms-astc-encoder 我针对 ASTC 的率失真优化工作现已加入 ARM 的 astc\-encoder \(PR \#781\) (https://github.com/ARM-software/astc-encoder/commit/5d00dcd2b0c8e8be1cb19e38174f988ae510fc16)\。Fabian "ryg" Giesen 在我的原始实现基础上,进行了一轮优化和改进,并将其合入了主线\。如果你将 ASTC 纹理放在使用 Oodle、zlib、zstd、LZ4 或 LZMA 压缩的软件包中发布,现在只需一个命令行选项,就能缩小下载体积\。 ## 问题:在 LZ 看来,ASTC 就像噪声 ASTC 是一种固定码率格式\。无论块尺寸是 4x4 还是 12x12,每个块都恰好占 128 位\。在 GPU 上,这正是你想要的,但没人会直接发布原始纹理数据\。纹理会被放进软件包,再用通用 LZ 编解码器压缩\。对于 LZ 压缩器来说,普通的 ASTC 比特流看起来几乎是随机的:每个块的端点和权重都是针对该块的像素拟合的,因此相邻块很少有相同的字节\。这让压缩器找不到可匹配的内容\。 RDO 的解决方式是:在视觉效果几乎同样好的编码方案中,选择那些能重复编码器已输出比特的方案\。GPU 看到的仍是大小完全相同的有效 ASTC 纹理,而 LZ 则能找到匹配\。这是用画质换取软件包体积的权衡,只需一个参数即可控制\。 ## 工作原理 **1\. 正常编码,再加一次“受限”编码** 首先,图像会经过常规的 astcenc 编码流程\。启用 LZ\-RDO 后,每个块还会使用最常见的配置额外试编码一次:1 个分区、1 个权重平面、端点量化级数最多为 32,并且对于 2D,仅使用始终可用的块模式\。采用相同配置的块更有可能包含相同的比特,因此这为优化器提供了更多寻找重复内容的机会\。 **2\. 衡量哪些位置的误差会被察觉** 当你有意引入误差时,直接使用平方误差 \(PSNR\) 并不合适\。平滑区域和缓慢渐变中的误差很容易被发现\。噪声纹理中或边缘附近的误差则大多会被掩盖\。 因此,编码前会先将图像划分为小块 \(约 256×256,3D 则为 323\),并为每个纹素计算一个活动度权重: - 对图像进行低通滤波 \(高斯滤波,σ = 2\.2\)\。 - 计算与原图之差的平方\。这就是局部高频能量\。 - 对该能量稍作模糊 \(σ = 1\.25\),使其扩散\。 - 将其映射为一个随能量平方根增大而减小的权重\。 平滑区域的纹素保持严格的误差容限\。细节丰富区域的纹素则采用更宽松的容限\。 **3\. 为端点和权重维护移至表头的历史列表** ASTC 从块的高位向低位打包权重,从低位向高位打包模式和端点\。因此,只需简单的位掩码,就能将一个块拆分为“端点位”和“权重位”\。优化器维护两个记录近期使用值的移至表头列表: - 端点历史:模式、头部和端点位\。 - 权重历史:权重位\。 \-rdo\-endpoints 和 \-rdo\-weights 选项用于设置这两个列表的大小\。默认值从 \-fastest 的 16/4 到 \-exhaustive 的 512/160 不等\。 **4\. 为每个块构建候选方案** 对于每个块,编码器会对以下方案进行评分: - 原始编码; - 受限编码; - 端点替换:从历史列表中取出端点,使用这些端点为当前块的像素计算理想权重,然后量化\。通过快速检查端点轴的对齐情况,跳过不可行的端点对\。保留其中最好的几个候选方案\。 - 权重拼接:将历史列表中的每个权重条目,与保留下来且权重位数相同的每个端点候选方案组合\。如果两部分来自同一个先前的块,就能形成一次较长的 LZ 匹配\。 **5\. 使用简单的 LZ 成本模型评分** 每个候选方案的成本为 *cost = weighted\_SSD \+ λ · estimated\_bits*。比特数估算刻意保持简单: 未匹配的比特按字面量计费\。 - 一次匹配的成本约为 10 \+ log2\(mtf\_position \+ 32\) 位\。 - 如果端点和权重都匹配同一个先前的块,则按一次匹配计费\。 - 前两个字节 \(模式所在的位置\) 的成本由自适应直方图估算,因此常用模式的成本更低\。 - 端点与权重边界处不满一个字节的部分,按字面量比特计费\。 代码注释写着“不要过度调优这个模型”,我是认真的\。目标是引导搜索朝正确的方向前进,而不是模拟 zstd\。 λ 会根据纹素数量缩放,因此同一个值在 4x4 和 12x12 下的表现大致相同\。 **6\. 并行执行多轮处理** 图像会按相互独立的块组进行处理,因此可以分配到多个线程\。每轮处理都使用该块组中随机选取的块来初始化历史列表,并交替采用正向和反向顺序\。由于拼接可以通过多种不同方式产生相同的比特模式,一个小型哈希表缓存会保存解码后的块,避免在误差检查时重复解码\。 ## 使用方法 命令行: astcenc \-cl albedo\.png albedo\.astc 6x6 \-thorough \-rdo\-lambda 20 API: astcenc\_config\_init\(ASTCENC\_PRF\_LDR, 6, 6, 1, ASTCENC\_PRE\_THOROUGH, ASTCENC\_FLG\_USE\_LZ\_RDO, &config\); config\.lz\_rdo\_lambda = 20\.0f; 调参建议: - λ 的标度经过调整,每变化约 10 就会产生肉眼可见的差异\。 - 漫反射/反照率贴图:20–40 通常就可以\。 - 法线贴图:保持较低值,根据画质要求,设为 10 左右甚至更低\。 - \-rdo\-passes 2 \(\-exhaustive 的默认值\) 能进一步缩小体积,但会明显增加编码时间\。 进度回调和取消操作在两个阶段都有效:基础编码报告前 33% 的进度,RDO 各轮处理报告其余部分\。 ## 限制 - 仅支持 LDR\。原则上没有什么阻碍支持 HDR\。 - 内存中的大小不变\。收益只体现在磁盘存储或网络传输时经过 LZ 压缩后的体积上\。 - 会增加编码时间\。它适合搭配较高质量的预设使用\。 ## 结果 图片 ## 致谢 非常感谢 Fabian 所做的优化、修复以及推动合并,感谢 ARM 将其纳入上游,也感谢 Charles、Fabian 和 Sean 在 Oodle Texture 上的工作,本项工作正是源于此\。

相似文章

OpenZL

Lobsters Hottest

OpenZL 是一个压缩库,能够为特定数据格式生成专门的压缩器,以高速实现高压缩比,适用于数据中心工作负载,如 AI 处理。

Lightricks/LTX-2.3

Hugging Face Models Trending

Lightricks 发布了 LTX-2.3,这是一个基于扩散的开放权重音视频基础模型,具有改进的质量和提示遵循性,提供多个检查点,包括蒸馏和 LoRA 变体,可在本地执行。