OpenZL

Lobsters Hottest 工具

摘要

OpenZL 是一个压缩库,能够为特定数据格式生成专门的压缩器,以高速实现高压缩比,适用于数据中心工作负载,如 AI 处理。

<p><a href="https://lobste.rs/s/zxt3em/openzl">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/06/27 09:51

# OpenZL 来源:https://openzl.org/ OpenZL 在保持高速的同时实现了高压缩比,这种性能水平是通用压缩器无法企及的。 OpenZL 接收您数据的描述,并据此构建一个针对您特定格式优化的专用压缩器。了解其工作原理 → (https://openzl.org/getting-started/introduction/) OpenZL 包含一个核心库和生成专用压缩器的工具——这些压缩器都与一个通用的解压器兼容。它专为处理大量特定数据集(例如 AI 工作负载)且需要处理管道高速运行的工程师设计。 以下是一些示例: - SAO (https://sun.aei.polsl.pl/~sdeor/corpus/sao.bz2),属于 Silesia 压缩语料库 (https://sun.aei.polsl.pl/~sdeor/index.php?page=silesia): - zstd (https://github.com/facebook/zstd)\-3:压缩比 1.31x,压缩速度 115 MB/s,解压速度 890 MB/s - xz \-9:压缩比 1.64x,压缩速度 3.1 MB/s,解压速度 30 MB/s - OpenZL:压缩比 **2.06x**,压缩速度 **203 MB/s**,解压速度 **822 MB/s** 结果:**压缩比远超通用压缩器,且速度满足数据中心工作负载的需求。** 想亲自尝试吗?通过快速入门指南 (https://openzl.org/getting-started/quick-start/) 几分钟即可开始。

相似文章

@Zai_org: https://x.com/Zai_org/status/2057216685040443743

X AI KOLs Timeline

本文介绍了ZCube,一种由Z.ai、Harnets.AI和清华大学提出的新型网络架构,用于解决Prefill-Decode分离式LLM推理集群中由拓扑引起的拥塞问题。在GLM-5.1编码工作负载的生产部署中,网络CapEx降低了33%,吞吐量提升了15%,TTFT P99延迟降低了40.6%。

BZip3

Hacker News Top

BZip3 是一种高性能的压缩工具,与前驱 BZip2 相比,提供更优的压缩率和速度,利用先进的算法如上下文混合熵编码和 Burrows-Wheeler 变换。