OpenZL
摘要
OpenZL 是一个压缩库,能够为特定数据格式生成专门的压缩器,以高速实现高压缩比,适用于数据中心工作负载,如 AI 处理。
<p><a href="https://lobste.rs/s/zxt3em/openzl">评论</a></p>
查看缓存全文
缓存时间: 2026/06/27 09:51
# OpenZL
来源:https://openzl.org/
OpenZL 在保持高速的同时实现了高压缩比,这种性能水平是通用压缩器无法企及的。
OpenZL 接收您数据的描述,并据此构建一个针对您特定格式优化的专用压缩器。了解其工作原理 → (https://openzl.org/getting-started/introduction/)
OpenZL 包含一个核心库和生成专用压缩器的工具——这些压缩器都与一个通用的解压器兼容。它专为处理大量特定数据集(例如 AI 工作负载)且需要处理管道高速运行的工程师设计。
以下是一些示例:
- SAO (https://sun.aei.polsl.pl/~sdeor/corpus/sao.bz2),属于 Silesia 压缩语料库 (https://sun.aei.polsl.pl/~sdeor/index.php?page=silesia):
- zstd (https://github.com/facebook/zstd)\-3:压缩比 1.31x,压缩速度 115 MB/s,解压速度 890 MB/s
- xz \-9:压缩比 1.64x,压缩速度 3.1 MB/s,解压速度 30 MB/s
- OpenZL:压缩比 **2.06x**,压缩速度 **203 MB/s**,解压速度 **822 MB/s**
结果:**压缩比远超通用压缩器,且速度满足数据中心工作负载的需求。**
想亲自尝试吗?通过快速入门指南 (https://openzl.org/getting-started/quick-start/) 几分钟即可开始。
相似文章
@Zai_org: https://x.com/Zai_org/status/2057216685040443743
本文介绍了ZCube,一种由Z.ai、Harnets.AI和清华大学提出的新型网络架构,用于解决Prefill-Decode分离式LLM推理集群中由拓扑引起的拥塞问题。在GLM-5.1编码工作负载的生产部署中,网络CapEx降低了33%,吞吐量提升了15%,TTFT P99延迟降低了40.6%。
Show HN: misa77 - 一种比 LZ4 解码快 2 倍的编解码器(且压缩率更高)
misa77 是一种基于 LZ 的新型编解码器,其解压吞吐量比 LZ4 快达 2 倍,同时还能提供更好的压缩比。它适用于一次写入多次读取的工作负载,并且内存占用恒定。
@tom_doerr: 压缩深度学习模型以加速推理 https://github.com/NVIDIA/Model-Optimizer…
NVIDIA Model Optimizer 是一个库,它使用量化、蒸馏、剪枝和推测解码等技术压缩深度学习模型以加速推理。它支持 Hugging Face、PyTorch 和 ONNX 模型,并与 NVIDIA 推理框架集成。
BZip3
BZip3 是一种高性能的压缩工具,与前驱 BZip2 相比,提供更优的压缩率和速度,利用先进的算法如上下文混合熵编码和 Burrows-Wheeler 变换。
ELMZip:通过极限学习机实现星上卫星图像压缩以高效下行传输
ELMZip 是一种新颖的卫星图像压缩框架,利用极限学习机(ELM)和区域分解实现高效的星上神经表示,仅传输紧凑的输出权重以减少下行数据量,同时保持较高的重建保真度。