标签
Atuin 18.20.0 通过让客户端将明文记录打包、压缩并加密为受 Git 启发的 packfile,存储在 Tigris 对象存储中,同时结合流水线下载和批量 SQL 插入,使 Atuin Hub 上的同步速度提升 32 倍(自托管场景提升 16 倍)。
TensorSSM 提出了一种用于函数式张量分解的隐式神经表示,在动态状态空间模型中记忆空间位置,编码从粗到细的空间标记和跨模态依赖关系,以提高在多种张量数据集上的重建精度和存储效率。
IPinfo 介绍了他们如何在不改变任何数据字节的情况下,通过对 MMDB 搜索树应用哈希共享(hash-consing)来消除重复的相同子树,将 MMDB 数据库文件的大小平均缩减了 33%(最高达 80%),并将这一成果以开源工具 mmdbshrink 和 mmdbctl 更新的形式发布。
介绍了一种名为Uncheatable Eval的动态基准测试方法,该方法利用压缩率评估语言模型性能,并能有效缓解数据污染问题。
一位开发者分享了使用 zigzag delta 编码和 LZ4 进行索引值块压缩的进展,旨在通过提高压缩效率节省大约 4 TB 的磁盘空间。
提出了粒球量子聚类(GBQC),该框架结合粒球结构抽象与量子特征学习,以减少计算开销,并在多种数据集上提升聚类准确性和鲁棒性。
BZip3 是一种高性能的压缩工具,与前驱 BZip2 相比,提供更优的压缩率和速度,利用先进的算法如上下文混合熵编码和 Burrows-Wheeler 变换。
InferenceFS 是一款文件系统工具,利用大型语言模型的潜空间从文件名推断文件内容,通过依赖外部AI后端如Claude和Gemini,提供理论上的无限压缩。
一条推文强调实现了64倍压缩比,且质量几乎无损失,赞扬了 @yjoonjang 的工作。
KATok是一种自适应视频分词器,通过选择性丢弃信息量不足的令牌来实现数据依赖压缩,提升基于扩散的视频生成中的空间一致性。
本文分析了基于机器学习的数据压缩的环境收支平衡点,估算了训练和推理的碳当量成本,并与减少磁盘存储带来的节省进行对比。
介绍了迭代张量网络变换(ITNTs),用于在张量列上高效逐元素评估非线性函数,实现对大规模数据集的数据处理和优化,应用领域包括反应流场和Max-SAT问题。
本文介绍ALP,一种针对IEEE 754浮点数据的最先进的无损压缩算法,利用十进制和高精度模式。它在解码速度、压缩比和压缩速度方面表现出色,获得了SIGMOD最佳构物奖。
Iwo Kadziela 创建了一种方法,利用 deflate 压缩和 JavaScript 的 DecompressionStream API,仅用445字节数据生成可信的ASCII世界地图。
解释Burrows-Wheeler变换的两种变体(循环移位和后缀)以及快速计算方法,面向数据压缩爱好者。
探讨了是否可以通过刻意对训练数据进行过拟合来使用小型语言模型(SLMs)实现无损数据压缩,反思机器学习中通常对过拟合的厌恶。
一位开发者使用一个小型900KB的Transformer模型进行过拟合,将100MB的CSV文件压缩到7MB,展示了一种使用过拟合神经网络进行数据压缩的新颖方法。
这篇博客分析了PivCo-Huffman论文,该论文引入了并行Huffman解码的“合并”操作,无需交错开销即可实现高效的向量化和GPU友好解码。
一个新的开源仓库将6000万个文本块从201 GB压缩到6 GB,且准确率零损失,这使得向量数据库在许多使用场景下可能变得过时。