标签
Tigris 展示了如何使用其对象存储作为数据库替代品,通过在基于FoundationDB构建的分布式键值存储上直接实现唯一约束和事务等基本原语。
Bookshelf 是一个自托管的电子书库,使用对象存储来管理和阅读 EPUB 和 PDF 文件,支持 Cloudflare R2 和本地存储。
PicoMQ是一个基于S3兼容对象存储的HTTP持久实时流系统,允许根据用例创建独立且可扩展的流。
Walgit 是一个 Git 服务器实现,作为单一二进制文件运行,后端使用 S3 或 GCS 等对象存储,实现了无本地状态的可扩展 Git 仓库托管。
本文展示了利用 Hyparquet JavaScript 阅读器和 HTTP 范围请求,从单个 Parquet 数据立方体构建快速下钻仪表板的方法,从而无需使用传统数据库。
This article explores storage engine write durability trade-offs, explaining how different storage layers (memory, local SSD, remote storage) move latency and durability, and analyzes the cost of operations in an append-only key-value store built on object storage.
Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。
ZeroFS 与 Amazon S3 Files 的技术对比,这两个系统都提供基于对象存储的 POSIX 文件系统。文章重点介绍了存储布局、对象互操作性的差异,以及直接访问 S3 与使用 ZeroFS 的打包、压缩和加密之间的权衡。
HydraDB OSS 是一个专为AI应用设计的开源图数据库,通过利用对象存储,提供快速、低延迟的性能,且操作开销最小。
Firn 是一个开源的多租户向量与全文搜索引擎,基于 AWS S3 等对象存储,提供分层存储架构,配备 RAM 和 NVMe 缓存以提升性能。通过 IVF_PQ 索引实现亚秒级冷查询,并通过结果缓存实现微秒级热命中。
TiDB Cloud 团队基于 TiDB 构建了一个名为 drive9.ai 的 AI Agent 云盘,旨在为 Agent 提供可查询、可编程、可治理的文件系统层,解决文件与元数据一致性、对象存储延迟、AI 场景文件理解等工程痛点。
作者演示了如何使用billy文件系统抽象,使Tigris对象存储桶表现得像一个文件系统,从而让go-git直接将其视为git仓库服务器。
Mixedbread宣布,用户现在可以自带云存储桶,从而通过延迟交互模型实现零保留索引和搜索。
LangChain工程师详细介绍了他们如何为SmithDB从头构建自定义倒排索引,以支持对存储在对象存储中的大容量代理轨迹进行全文搜索和JSON过滤,尽管负载巨大,仍实现了400ms的中位延迟。
一条推文讨论了使用类似S3的对象存储和内容寻址构建具有无限吞吐量的事务数据库的想法,其中块被并行写入,根哈希定期更新。
ObjectCache提出使用S3兼容的对象存储来实现LLM KV缓存的重用,以降低成本并增加容量,同时通过协同设计的存储协议和传输调度将延迟开销降至最低。实验表明,对于64K上下文,相比本地DRAM仅增加5.6%的延迟。
Gergely Orosz 宣布 turbopuffer 成为《The Pragmatic Engineer Podcast》的季度赞助商,并强调了该数据库在对象存储和智能缓存方面的创新应用,帮助诸如 Cursor 等公司实现扩展,同时将成本降低 95%。
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。