水平扩展 Git:我们如何超越 Multi-Raft

Lobsters Hottest 产品

摘要

Enroute 博客文章介绍了他们如何用 Raft 复制结合 Vertical Paxos 故障切换取代原有的 Multi-Raft 设计,在 0.4.0 版本中实现了每个集群最多 300,000 个仓库的水平扩展能力。

<p><a href="https://lobste.rs/s/79x708/scaling_git_horizontally_how_we_moved">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/11/21 05:21

# 水平扩展:我们如何超越 Multi-Raft Source: https://enroute.sh/blog/scaling-horizontally-how-we-moved-beyond-multi-raft Blog (https://enroute.sh/blog) *tl;dr: 我们用一个更简单的设计取代了 Multi-Raft 系统——将 Raft 的复制机制与来自 Vertical Paxos 的故障切换(failover)相结合。这让我们在保持低复杂度的同时,实现了更好的水平扩展性,单个 Enroute 集群最多可容纳 300,000 个仓库。* 在 Enroute 中,我们的目标是让 Git 能够满足最苛刻的智能体(agentic)工作负载的需求,这意味着需要在多个方向上扩展。我们首先着手的是垂直方向:在发布文章 Everyone is doing Git on S3 wrong (https://enroute.sh/blog/everyone-is-doing-git-on-s3-wrong) 中我们介绍过,单个仓库如何突破每秒 7,600 次推送。然而,这并不是完整的故事。 像 Cursor 这样的编码智能体正在代码托管上走向更极致的垂直规模,而像 Lovable 或 Replit 这样的应用构建平台正在面临最苛刻的 Git 工作负载。这说明了水平可扩展性对代码托管基础设施的重要性:它需要支持数百万个甚至更多的仓库。 这正是我们过去几周的专注方向,而我们的最新版本(0.4.0)带来了这项工作的一些初步成果。 ## Enroute 架构快速回顾 在深入之前,让我们快速回顾一下 Enroute 的架构。与许多现代数据库一样,Enroute 将计算与存储分离。一个集群由三部分组成: - **计算节点(Compute nodes)** 承担计算密集型的 Git 工作:接收推送、验证 pack 并将其构建为 layer,以及提供 clone 和 fetch 服务。它们使用快速 SSD 进行缓存,除此之外都是临时性的,可以轻松横向扩展。 - **账本节点(Ledger nodes)** 为每个仓库维护一个复制日志。它们需要持久化磁盘存储。每个日志跟踪对应仓库的 refs 以及构成其对象数据库的 layer 列表。 - **存储桶(Bucket)** 存放数据 layer 本身,以及用于协调的一部分元数据。 一次推送在计算节点上完成其 Git 工作,并向账本写入一条记录。计算节点接收推送、构建 layer 并提供 clone 和 fetch 服务,数据缓存在本地 SSD 上。账本节点为每个仓库维护一个复制日志,包含其 refs 和 layer 列表。存储桶存放 layer 和集群成员列表。 ## 扩展 Multi-Raft 及其带来的复杂性 在思考单个 Enroute 集群能容纳多少个仓库时,实际上需要考虑两个数字: 1. **活跃仓库(Active repositories):** 正在接收流量(读取或写入,或两者兼有)的仓库。我们能多高效地处理针对大量仓库并发发出的请求?是否存在瓶颈,如果有,出现在什么规模? 2. **闲置仓库(Idle repositories):** 在一个拥有数十万仓库的平台上,你可以预期大多数仓库在任意时刻都是闲置的。因此,衡量并降低每个闲置仓库所带来的开销也非常重要——无论是工作量(I/O 和 CPU)方面,还是资源(磁盘空间和内存占用)方面。 虽然我们已经实施了一些早期优化,但两项测量显示了我们仍然不足的地方: - **计算与账本之间:跟随仓库。** 当推送从 8,000 个活跃仓库扩展到 32,000 个时,尾延迟开始飙升,推送开始失败。原因很简单:每个计算节点为它跟随的每个仓库都持有一个到账本的流(stream),而流耗尽了。这个问题最终通过将仓库订阅复用到一组固定的流上得到了廉价的解决。 - **账本之间:就 leader 达成一致。** 在 100,000 个仓库上面对 2,048 个并发写入者时,心跳开始延迟,导致 follower 以数千计地发起选举。吞吐量降至约每秒 1,500 次推送,99 分位延迟升至 83 秒。与第一个问题相比,这是一个更深层次的问题,根植于 Multi-Raft 的工作方式。 ledger 1、ledger 2、ledger 3、late、late、late、heartbeat、vote request、push throughput、time →。每个仓库一个 Raft 组。每个仓库都有自己独立的组,全部位于相同的三个账本节点上。负载增长。每个组的 leader 发送心跳。在负载下,它们开始延迟到达。follower 停止等待。它们的计时器超时,开始以数千计地发起选举。推送吞吐量崩溃。仓库在选举 leader 期间无法接收推送。 每个仓库在相同的三个账本节点上拥有自己的 Raft 组。随着负载增长,心跳开始延迟到达,follower 以数千计地发起选举,推送吞吐量崩溃——因为仓库在选举 leader 期间无法接收推送。该图展示的是趋势,而非实测数值。 每个仓库的日志都是其独立 Raft 日志上的独立状态机。Raft 通过心跳保持 leader 存活,当 leader 失败时通过选举替换它,因此每个日志都有自己的计时器、投票、预投票(pre-votes)和 leader。当仓库达到数十万时,这套机制本身就成了工作负载。 事实证明,成熟的基于 Multi-Raft 的系统有一套众所周知的工具箱来解决这个问题,我们开始尽可能地利用它。我们允许闲置的日志休眠,将活性(liveness)检测从每个日志移到节点层面,并且仅在需要时才唤醒故障节点的日志,以防止单个节点故障时同时触发数千次 leader 选举。 这些修复奏效了。它们共同将此前在 2,048 个写入者时就崩溃的配置,提升到在 100,000 个仓库下达到约每秒 14,000 次推送且无失败。 然而,退一步看,感觉我们只是在核心 Multi-Raft 配置之上不断堆砌复杂性,而这个配置本身就已经相当复杂。更糟糕的是,这种复杂性不仅存在于代码中,还直接转化为故障模式和边缘情况。 简而言之,很明显继续走这条路将导致一个更难理解和运维的系统,这促使我们开始寻找替代方案。 ## 设计:用指定的 sequencer 取代选举 审视我们此时的配置,大部分复杂性来自于我们以每个仓库为单位运行成员管理(membership),进而进行 leader 选举。因此我们开始寻找将 leader 选举从每个仓库的日志中移出的方法。 目前有若干系统将外部配置主节点(configuration master)置于其副本之上。在所有这些系统中,我们最喜欢 Vertical Paxos(Lamport、Malkhi 和 Zhou,2009)。其背后的关键洞察是:如果日志之外的东西决定谁负责决定其条目,那么日志本身根本不需要计时器。 为了将其应用于 Enroute,我们引入了一个单一的"根日志(root log)",负责跟踪每个仓库的节点成员关系,同时将实际的仓库状态保留在各自的日志中(我们称之为"分片日志(shard log)"),而分片日志由通过根日志指定的"sequencer"来决定。 在此之上,我们保留了 Raft 中已经运作良好的部分,并采纳了 Vertical Paxos 的特定部分。 我们从 Raft 保留的是关于日志如何写入的一切: - **复制。** sequencer 追加条目并将其发送给副本,方式与 Raft leader 相同,而副本只有在其日志与该点匹配时才接受追加。 - **提交规则。** 一旦多数派持有某条目且它属于 sequencer 自身的任期(term),该条目即被提交。新的 sequencer 会以一个 no-op 开始其任期,与 Raft leader 相同。 - **哪些副本可以接管。** 日志最新的副本接管。Raft 通过投票强制执行这一点,而在我们的系统中,根日志对其收集到的回答应用相同的规则。 我们从 Vertical Paxos 采纳的是关于领导权变更的一切: - **由外部系统决定,而不是副本。** 在 Vertical Paxos 中,组外的配置主节点指定其 leader 和成员。我们的根日志在 Enroute 中扮演这一角色,因此分片日志副本绝不会超时或竞选。 - **先封旧的,再启新的。** 根日志只有在旧配置的多数派已封存(sealed)于旧任期之后,才切换到新的分片日志任期。这就是为什么无需租约(lease)或时钟就能保证故障切换的安全性。 - **副本变更使用相同的步骤。** 副本变更需要在旧副本的多数派上封存,且只有在新任期于新副本上提交后才丢弃旧副本。 根日志为每个仓库的日志选择一个 sequencer。只有根日志运行 Raft。每个仓库的日志有三个副本,分别位于不同的可用区,根日志的 leader 指定其中哪一个为 sequencer。如果 sequencer 所在节点故障,leader 首先封存旧副本的多数派,使其停止从旧 sequencer 接收条目。然后指定日志最新的副本。 ## 根日志 leader 作为放置驱动器(placement driver) 在我们的 Multi-Raft 配置中,每个账本节点都是每个仓库 Raft 组的成员,因此每份日志都存放在所有节点上。这也意味着增加一个账本节点会增加每份日志的一个副本,却没有任何办法将负载分散到更多节点上。 通过这种新设计,得益于根日志 leader 负责指定 sequencer,将这一职责扩展到放置(placement)就变得顺理成章:根日志现在可以决定指定哪些账本节点负责某个特定的分片日志,这意味着我们可以将跟踪仓库元数据的职责分散到更大的账本节点池中。 基于这一想法,我们实现的根日志 leader 已经能够: - 将新仓库的三个副本首先放置在不同的可用区(故障域)中,然后放置在持有日志最少的成员上; - 替换节点已离开的副本,并在少于三个节点在线期间为创建的日志添加副本; - 当两个副本共享一个可用区且缺失可用区的节点上线时移动副本——绝不移动 sequencer,并优先移动已宕机的副本; - 故障切换后分散 sequencer,优先选择分片日志序列化数量最少的副本。 我们计划在后续版本中进一步扩展这一放置逻辑,以改善 Enroute 在账本节点间的负载均衡,并使这一过程更加持续,而非纯粹由故障切换驱动。 ## 我们如何验证它 共识协议可能充满陷阱,因此一个新的共识协议自然值得怀疑。这正是更简单设计的价值所在:由于没有选举,协议足够小,可以放入模型检查器中验证——而我们在 Raft 之上叠加修复的方案则做不到。我们通过两种方式测试了新设计。 **对引擎运行的代码进行模型检查。** 核心协议被编写为(如酷孩子们所说的 "sans-IO")没有 I/O 的状态机:消息、提案和时钟滴答成为输入,待发送的消息和磁盘 I/O 任务成为输出。这使我们能够使用 Stateright (https://github.com/stateright/stateright) 对实际实现进行穷举检查,而不仅仅是一个模型——它模拟了 sequencer、指定、读取、崩溃和丢失未同步写入的所有可能交错(在较小的边界内)。 引擎和模型检查器运行相同的协议代码。分片日志协议被编写为没有 I/O 的状态机。引擎用真实的消息、磁盘和计时器运行它。一个 Stateright 模型运行相同的代码,并在较小边界内尝试事件的所有可能顺序。Jepsen 向运行中的集群注入故障。 **针对真实进程的 Jepsen 测试。** 在这里,我们此前搭建 Jepsen (https://jepsen.io/) 测试套件的投入得到了回报。它在驱动 Git 客户端的同时对节点进行分区、杀掉和暂停,每个账本都运行在 LazyFS (https://github.com/dsrhaslab/lazyfs) 上以模拟磁盘故障,而 Elle (https://github.com/jepsen-io/elle) 检查 ref 读取的严格可串行化(strict serializability)。在开发新的共识引擎期间,它发现了两个较小的、非安全关键的 bug——不在引擎本身,而在于它与系统其余部分的集成方式(这就是为什么 Stateright 模型检查没有更早发现它们)。幸运的是,两者都很容易修复。 ## 数据说明了什么 为了了解这些改进的效果,我们用旧实现(0.3.0)与新的基于分片日志的实现(0.4.0)进行了对比,将每个集群逐步扩展到 100,000 个仓库,0.4.0 更是扩展到 300,000 个。 在 32,000 个活跃仓库时,0.3.0 有 81% 的推送失败,而 0.4.0 没有一次失败。在 500 次推送每秒的速率下,随着相同负载分散到 100,000 个托管仓库中的更多仓库上,推送成功的比例。我们没有让 0.3.0 在全部 100,000 个仓库接收推送的情况下运行。 有两个结果尤为突出: 1. **活动可以分散到所有仓库。** 在托管 100,000 个仓库的情况下,我们将推送速率保持在每秒 500 次,并将其分散到越来越多的仓库上。在 32,000 个活跃仓库时,0.3.0 的 p99 推送时间为 117 秒。0.4.0 在全部 100,000 个仓库上接收推送,p99 仅为 47 毫秒。这就是上面提到的跟随流修复在起作用。 2. **在 300,000 规模下依然稳定,且还有余量。** 0.4.0 以每秒 749 到 2,000 个的速度创建了全部 300,000 个仓库,没有一次创建失败,而 0.3.0 只能达到每秒 312 到 952 个。在 300,000 个仓库就位的情况下,我们在 0.4 上测得高达每秒 24,000 次推送,而账本节点仅使用了 4 个核心中的约 2.5 个。 然而,真正的胜利甚至没有体现在这些数字中:Enroute 的共识层现在的活动部件要少得多,这使得它更容易理解、运维,并在我们继续扩展之旅时更容易扩展。 ## 我们接下来会推进的方向 有了新获得的账本层余量,以下是我们考虑的下一步方向: - **基于策略的持续放置驱动器。** 控制器理论上已经可以移动任何日志,但目前只在故障切换时才这样做。下一步是将其变成一个持续的优化过程:将日志移至有剩余容量的节点,将 sequencer 从繁忙节点移出,并设置合理的阈值和速率限制。 - **根日志 learner。** 目前每个账本节点都是根日志中的投票者。随着集群增长,我们计划保留分布在不同可用区的三到五个投票者,其余为 learner,这样无论节点数量多少,根日志的提交都保持低成本。对于最大的集群,根日志甚至可以迁移到自己的节点类型上。 - **时间点恢复。** 虽然可能性不大,但如果丢失某个日志的三个副本中的两个,目前只能从卷快照手动恢复。我们计划持续将账本变更同步到 S3,这样整个集群或选定的仓库可以在保留窗口内的任意时间点恢复。 - **计算,下一个瓶颈。** 超过 300,000 个仓库后,下一个限制又回到了计算。你已经可以在计算节点前面放一个一致性哈希路由器,但我们认为 Enroute 可以做得更好——通过内部路由,让每个计算节点只跟随和缓存属于它的那部分仓库。

相似文章

OpenAI 如何扩展 Git规模

OpenAI Blog

OpenAI 为其 monorepo 构建了 Pando,一个全新的水平可扩展 Git 后端,以应对大规模的 agent 驱动开发,将中位推送延迟降低了近 5 倍,每天服务接近 1PB 的 Git 数据,同时保持与 Git 协议的兼容性。

通向 Agent 规模级 Git 基础设施的桥梁

Hacker News Top

GitHub 详述其将 Git 仓库迁移至 Azure 的桥接架构:通过改进 Spokes quorum 的写入序列化方式,把最繁忙的仓库也迁入 Azure,并为无持久状态的副本铺平道路,以支撑 agent 规模的开发流量。

扩展PostgreSQL以支持8亿ChatGPT用户

OpenAI Blog

OpenAI分享了扩展PostgreSQL以支持8亿ChatGPT用户及每秒数百万查询的技术见解,采用了单主架构搭配50个只读副本,同时通过分片和优化策略管理写入密集型工作负载带来的挑战。