S3 既是未来，也是过去

# S3是未来，S3也是过去 来源：https://btrblocks.com/blog/s3_is_the_future_and_the_past/ 亚马逊S3及其在其他云平台上的类似服务，已成为现代云软件架构的基石。如今，几乎所有数据密集型系统都围绕S3构建。然而，S3设计中固化的硬件假设——以及围绕它发展起来的所有软件架构——正迅速过时。 S3的统治地位源于其诸多优势：近乎无限的容量、高持久性以及低廉的每GB存储成本。对于大型对象和并行访问，它能提供高聚合带宽。S3提供了一个共享的持久化命名空间，使计算层能够保持相对无状态。例如，开源数据湖架构（Iceberg + Parquet + S3）已成为云端数据分析的基础。Warpstream (https://www.warpstream.com/)是运行在S3上的Kafka，Turbopuffer (https://turbopuffer.com/)基于它构建向量存储。S3已成为记录系统、长期存储、备份目标，以及普遍意义上的唯一事实来源。新建数据系统的默认架构是：将数据放入S3，在其上运行无状态计算。 从某种意义上说，S3就是HTTP API背后的一百万块硬盘。单次请求的吞吐量不足100 MB/s，延迟以数十毫秒计[[1]](https://btrblocks.com/blog/s3_is_the_future_and_the_past/#fn1)。这些特性并非偶然；它们源于硬盘的物理特性，并给每个基于S3构建的系统带来了架构税。你需要缓存层来掩盖延迟。你需要将小写入批处理成大对象以摊销每次请求的开销。你需要单独的元数据存储（如DynamoDB、FoundationDB），因为S3本身无法高效处理小型随机查询。你无法原地更新记录，必须重写整个对象。因此，每个严肃的基于S3的软件设计，在某种程度上都是一个应对S3局限性的系统。 S3发布于20年前。此后，固态硬盘价格持续下降[[2]](https://btrblocks.com/blog/s3_is_the_future_and_the_past/#fn2)，固态硬盘与机械硬盘的差距已缩小到约3倍[[3]](https://btrblocks.com/blog/s3_is_the_future_and_the_past/#fn3)：固态硬盘价格下降。这很重要，因为固态硬盘具有根本不同的性能特性：访问延迟约100微秒（比S3快两个数量级），每个设备每秒可处理数百万次I/O操作，小型随机读写的粒度可低至4KB。现代数据中心网络已同步发展：100+ Gbit链路在数据中心内提供低于100微秒的延迟，在同一区域的不同数据中心之间延迟低于一毫秒。 基于固态硬盘的解耦存储加上数据中心级网络，有望消除定义当今以S3为中心的设计的许多限制和变通方案。当存储响应时间为微秒级时，缓存变为可选。当小型随机访问成本低廉时，批处理不再是强制性的。当更新可以原地执行时，压缩和重组变得不必要。元数据和数据存储可以统一到单一系统中，因为存储层可以高效地服务这两种访问模式。 亚马逊基于固态硬盘的服务S3 Express One Zone于2023年推出。它仅限于单个可用区，牺牲了使S3成为生产数据默认选择的持久性和可用性保障。尽管有此重大妥协，它仍然具有多毫秒延迟：远非现代固态硬盘和网络所能达到的水平。其每GB容量成本远高于标准S3，且带宽定价高昂，足以抑制那些会使低延迟存储发挥最大价值的高吞吐量访问模式。结果是一个用途狭窄的利基产品，而非下一代数据系统的基础。 然而，构建一个真正的、基于固态硬盘的解耦存储服务，并无根本性的技术障碍，该服务只需具备所需的持久性、容量和定价配置文件，即可作为S3的通用替代品。快速固态硬盘存在。高速网络存在。缺失的是主动性。云提供商拥有海量的硬盘，建立在当前定价模式上的巨额收入流，几乎没有动机去蚕食其中任何一项。障碍是惯性，而非技术。 讽刺的是，正是基于S3的架构成为行业标准的同时，促成其产生的硬件约束正在消失。我们正在固化那些为绕过固态硬盘存储根本不存在的限制而存在的架构模式。云提供商没有动力颠覆对他们有利的模式，所以我们不应等待他们引领这一转型，而应自己构建基础设施原语。 --- 1. https://www.vldb.org/pvldb/vol16/p2769-durner.pdf↩︎ (https://btrblocks.com/blog/s3_is_the_future_and_the_past/#fnref1) 2. 由于人工智能热潮，2026年初固态硬盘、内存和机械硬盘价格均上涨了三倍——但这些价格变动几乎是同步发生的。↩︎ (https://btrblocks.com/blog/s3_is_the_future_and_the_past/#fnref2) 3. https://www.vldb.org/pvldb/vol17/p4536-leis.pdf↩︎ (https://btrblocks.com/blog/s3_is_the_future_and_the_past/#fnref3)