SQLite压缩文本历史原型
摘要
Simon Willison试验将SQLite文本修订历史存储为压缩的JSON数组,比较了整体blob和分块存储方法。一项模拟1000次编辑的测试,使用Zstandard将20.4 MB的修订文本压缩为80.3 KB。
暂无内容
查看缓存全文
缓存时间: 2026/08/10 02:10
# 研究:SQLite 压缩文本历史原型
来源:https://simonwillison.net/2026/Aug/9/sqlite-text-history-prototype/
研究(https://simonwillison.net/elsewhere/research/)SQLite 压缩文本历史原型(https://github.com/simonw/research/tree/main/sqlite-text-history-prototype#readme)——SQLite 压缩文本历史原型对比了 `WholeBlobHistoryStore`(每次编辑重写一个压缩的历史 blob)与 `ChunkedHistoryStore`(密封压缩块以改善长历史记录的扩展性)。两者都保留先前的文本和时间戳,默认跳过未更改的替换,并使用 `BEGIN IMMEDIATE` 序列化写入者以实现原子更新。
我一直对在关系数据库中存储修订历史的各种方案很感兴趣。在一次遛狗时,我产生了一个新想法:把每个先前版本的全文放在一个大的 JSON 字符串数组中,然后对整个数组应用 zlib 或 zstd 压缩,怎么样?由于存在大量重复字符串,这样压缩效果肯定会很好。
新版 ChatGPT iPhone 应用中的 GPT-Live 语音模式(https://openai.com/index/introducing-gpt-live/)已经变得非常好用,于是我和它讨论了这个原型。你仍然无法分享语音对话的 URL,但以下是我从转录中复制出来的内容,算是一段真正的意识流:
> 我有一个有趣的想法,关于如何在 SQLite 数据库的列中,以尽可能高效的方式保存一段不断编辑的文本的所有先前版本。好吧,我过去构建过这类系统,要找到一种高效的方法总是很困难。最简单的方式是,为字符串的每一个先前副本/前一个值都建一行。但如果是一份很长的文档,比如 20 千字节的数据,那就意味着每次编辑都会向数据库多添加 20 千字节的数据,对吧。所以,我现在在想的是,压缩应该会很有效,对吧?如果你把这些不同版本,往回一直到最初的每一个版本都打包在一起,然后对它们应用一个好的压缩算法,那基本上就能消除大量的冗——呃,冗余文本,对吧。所以,我在想,要不要用一个非常简单直接的机制:在这个表上有一个 history 列,它是单个的,它是一个 blob,BLOB,用来存储二进制数据,然后你只要在里面放一个 Zlib 或者甚至 ZSTD 压缩的 JSON 文本数组,包含之前所有的文档。所以你可能需要两列,对吧?一列是这个神奇的 JSON 文本数组;第二列是时间戳的 JSON 数组,那根本不需要压缩,对吧?时间戳可以只是——它是一个整数数组,Unix 整数。但这就是整个方案。
然后我停止了语音模式,给 GPT-5.6 Sol Pro 输入了以下文本提示:
> `使用 Python 并围绕这个想法构建实验原型`
它运行了 38 分钟,给出了这个答案(https://gist.github.com/simonw/4e255c53aebdb610553d02cdce17ac30),以及你在这个文件夹(https://github.com/simonw/research/tree/main/sqlite-text-history-prototype)里看到的文件。
这种方法效果非常好!对一份文档进行 1,000 次模拟修订,产生了 20.4 MB 的原始修订文本,而压缩为 Zstandard 压缩的 JSON 数组后仅占 80.3 KB。
为了避免每次编辑时都要对整个数组进行解压和重新压缩的开销,Sol 建议将历史记录拆分成多行,每行最多包含 128 个修订版本或 3MB 未压缩的 JSON。
相似文章
@HowToAI_: 这个仓库将201GB文本压缩至6GB,且不损失任何精度。→ 比向量数据库小97% → 本地运行 →…
这个仓库将201GB文本压缩至6GB,且无精度损失,比向量数据库小97%。它可本地运行,并为Claude提供即插即用的MCP,完全开源且私密。
@HowToPrompt__:向量数据库正式被终结。这个仓库将6000万个文本块从201GB压缩到仅6GB,且没有任何损失……
一个新的开源仓库将6000万个文本块从201 GB压缩到6 GB,且准确率零损失,这使得向量数据库在许多使用场景下可能变得过时。
用 10 MB 的 FST(有限状态转换器)二进制文件替换 3 GB 的 SQLite 数据库
作者描述了将 3 GB 的 SQLite 数据库替换为 10 MB 的有限状态转换器(FST)二进制文件,以优化芬兰语-英语词典工具,在保持性能的同时将内存使用量减少了 300 倍。
我们如何为SQLite构建零磁盘、S3分层存储引擎
Rivet工程师详细介绍了他们如何为SQLite构建零磁盘、S3分层的存储引擎,实现了隔离数据库,具备即时启动、低延迟写入、时间点恢复和无限存储能力,可支持数百万Actors。
零依赖、超轻量级的 SQLite 数据库时光机
一款开源、零依赖的 SQLite 调试工具,能够跟踪数据库变更,并通过快照、Web UI 和 CLI 监控守护进程即时回退到任意先前状态。