@msimoni: 我一直在思考的一件事:以类似S3的对象存储为原语,你可以构建一个具有无限吞吐量的事务数据库…
摘要
一条推文讨论了使用类似S3的对象存储和内容寻址构建具有无限吞吐量的事务数据库的想法,其中块被并行写入,根哈希定期更新。
我一直在思考的一件事:以类似S3的对象存储为原语,你可以构建一个具有无限吞吐量的事务数据库。使用内容寻址;并行地向存储写入任意数量的块;最后按照你选择的时间间隔更新根哈希。
相似文章
对象存储就是你需要的一切
Tigris 展示了如何使用其对象存储作为数据库替代品,通过在基于FoundationDB构建的分布式键值存储上直接实现唯一约束和事务等基本原语。
@jhleath: https://x.com/jhleath/status/2065408690992148698
作者解释了如何构建一个能够在恒定时间内每秒启动数百万个沙箱的计算平台,重点介绍了使用Cassandra和S3进行解耦调度和能力聚合。
@asmah2107: 如果我想深入理解数据库扩展,我会研究的数据库内容:B+ 树 LSM 树 预写日志 两阶段提交…
一条推文,列出了理解数据库扩展的关键概念,包括 B+ 树、LSM 树和分布式系统主题。
@gortron: S3 是存储数据的绝佳场所,直到你试图搜索它。两个月前我发布了 Firn:开源向量+…
Firn 是一个开源的多租户向量与全文搜索引擎,基于 AWS S3 等对象存储,提供分层存储架构,配备 RAM 和 NVMe 缓存以提升性能。通过 IVF_PQ 索引实现亚秒级冷查询,并通过结果缓存实现微秒级热命中。
@beamnxw: 这篇论文简直太厉害了 一篇计算机科学论文将基于文件系统的记忆形式化为长期存储架构……
一篇计算机科学论文将基于文件系统的记忆形式化为自主AI代理的长期存储,表明将记忆组织为层级Markdown文件相比向量存储可将检索成本大约减半。