标签
ZeroFS 与 Amazon S3 Files 的技术对比,这两个系统都提供基于对象存储的 POSIX 文件系统。文章重点介绍了存储布局、对象互操作性的差异,以及直接访问 S3 与使用 ZeroFS 的打包、压缩和加密之间的权衡。
Firn 是一个开源的多租户向量与全文搜索引擎,基于 AWS S3 等对象存储,提供分层存储架构,配备 RAM 和 NVMe 缓存以提升性能。通过 IVF_PQ 索引实现亚秒级冷查询,并通过结果缓存实现微秒级热命中。
TiDB Cloud 团队基于 TiDB 构建了一个名为 drive9.ai 的 AI Agent 云盘,旨在为 Agent 提供可查询、可编程、可治理的文件系统层,解决文件与元数据一致性、对象存储延迟、AI 场景文件理解等工程痛点。
作者演示了如何使用billy文件系统抽象,使Tigris对象存储桶表现得像一个文件系统,从而让go-git直接将其视为git仓库服务器。
Mixedbread宣布,用户现在可以自带云存储桶,从而通过延迟交互模型实现零保留索引和搜索。
LangChain工程师详细介绍了他们如何为SmithDB从头构建自定义倒排索引,以支持对存储在对象存储中的大容量代理轨迹进行全文搜索和JSON过滤,尽管负载巨大,仍实现了400ms的中位延迟。
一条推文讨论了使用类似S3的对象存储和内容寻址构建具有无限吞吐量的事务数据库的想法,其中块被并行写入,根哈希定期更新。
ObjectCache提出使用S3兼容的对象存储来实现LLM KV缓存的重用,以降低成本并增加容量,同时通过协同设计的存储协议和传输调度将延迟开销降至最低。实验表明,对于64K上下文,相比本地DRAM仅增加5.6%的延迟。
Gergely Orosz 宣布 turbopuffer 成为《The Pragmatic Engineer Podcast》的季度赞助商,并强调了该数据库在对象存储和智能缓存方面的创新应用,帮助诸如 Cursor 等公司实现扩展,同时将成本降低 95%。
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。