帮助数据中心以更少的硬件实现更高性能

<p>为了提高数据中心效率，多个存储设备通常通过网络汇集在一起，以便多个应用程序共享。但即使采用这种池化方式，由于设备之间的性能差异，仍有大量设备容量未能得到充分利用。</p><p>麻省理工学院的研究人员现已开发出一种系统，通过同时处理三大主要变异性来源来提升存储设备的性能。他们的方法相比传统每次只解决一种变异性的方式，实现了显著的速度提升。</p><p>该系统采用双层架构，包括一个中央控制器负责制定每台存储设备任务分配的宏观决策，以及每台机器上的本地控制器，在设备出现瓶颈时快速重新路由数据。</p><p>这种方法能够实时适应变化的工作负载，且无需专用硬件。研究人员在AI模型训练和图像压缩等真实任务上测试该系统时，其性能相比传统方法几乎翻了一番。通过智能平衡多个存储设备的工作负载，该系统可以提高整体数据中心效率。</p><p>“人们倾向于投入更多资源来解决问题，但这在很多方面都是不可持续的。我们希望能够最大化这些非常昂贵且碳密集型资源的使用寿命，”电气工程与计算机科学（EECS）研究生、<a href="https://goharirfan.me/publications/sandook_nsdi_2026.pdf" target="_blank">相关论文</a>的第一作者Gohar Chaudhry表示。“借助我们的自适应软件解决方案，在需要淘汰并购买新设备之前，你仍然可以从现有设备中挤出大量性能。”</p><p>Chaudhry与Tufts大学助理教授Ankit Bhardwaj、博士Zhenyuan Ruan（24届）以及资深作者、EECS副教授兼MIT计算机科学与人工智能实验室成员Adam Belay共同撰写了这篇论文。该研究将在USENIX网络系统设计与实现研讨会上发表。</p><p><strong>挖掘未利用的性能</strong></p><p>固态硬盘（SSD）是高性能数字存储设备，允许应用程序读写数据。例如，SSD可以存储海量数据集，并快速将数据发送到处理器进行机器学习模型训练。</p><p>将多个SSD汇集起来供多个应用程序共享可以提高效率，因为并非每个应用程序都需要在特定时间使用SSD的全部容量。但并非所有SSD性能相同，最慢的设备会限制整个池的整体性能。</p><p>这些低效率源于SSD硬件及其执行任务时的变异性。</p><p>为了利用这些未开发的SSD性能，研究人员开发了Sandook，这是一种基于软件的系统，可同时应对三种主要影响性能的变异性。“Sandook”是乌尔都语中“箱子”的意思，寓意“存储”。</p><p>第一种变异性由SSD的年龄、磨损程度和使用容量差异引起，这些设备可能是在不同时期从多个供应商处采购的。</p><p>第二种变异性源于同一SSD上读写操作之间的不匹配。要向设备写入新数据，SSD必须擦除部分现有数据。这个过程会减慢同时发生的数据读取或检索速度。</p><p>第三种变异性来源是垃圾回收，即收集和清除过期数据以释放空间的过程。这个过程会降低SSD操作速度，且在数据中心运营商无法控制的随机间隔触发。</p><p>“我不能假设所有SSD在整个部署周期内表现一致。即使给它们相同的工作负载，有些也会成为拖后腿的，这会损害我能实现的净吞吐量，”Chaudhry解释道。</p><p><strong>全局规划，本地响应</strong></p><p>为了处理这三种变异性来源，Sandook采用双层结构。全局调度器优化整个池的任务分配，而每个SSD上更快的调度器则对紧急事件做出反应，将操作从拥堵设备转移。</p><p>该系统通过轮换应用程序可用于读写的SSD来克服读写干扰造成的延迟。这降低了同一台机器上同时发生读写操作的概率。</p><p>Sandook还会分析每个SSD的典型性能。它利用这些信息来检测垃圾回收何时可能正在拖慢操作。一旦检测到，Sandook就会通过转移部分任务来减轻该SSD的工作负载，直到垃圾回收完成。</p><p>“如果某个SSD正在进行垃圾回收，无法再处理相同的工作负载，我想给它更小的工作负载，然后慢慢增加。我们希望找到它仍在干活的甜蜜点，然后利用这部分性能，”Chaudhry说。</p><p>SSD画像还使Sandook的全局控制器能够以加权方式分配工作负载，综合考虑每个设备的特性和容量。</p><p>由于全局控制器掌握整体情况，而本地控制器实时响应，Sandook可以同时管理发生在不同时间尺度上的变异性形式。例如，垃圾回收造成的延迟突然发生，而磨损导致的延迟则在数月内逐渐累积。</p><p>研究人员在10个SSD的池上测试了Sandook，并在四项任务上评估了该系统：运行数据库、训练机器学习模型、压缩图像和存储用户数据。与静态方法相比，Sandook将每个应用的吞吐量提升了12%至94%，并将SSD容量的整体利用率提高了23%。</p><p>该系统使SSD达到了理论最大性能的95%，且无需专用硬件或应用特定更新。</p><p>“我们的动态解决方案可以为所有SSD释放更多性能，真正将它们推向极限。在这个规模上，每一点能节省的容量都至关重要，”Chaudhry说。</p><p>未来，研究人员希望整合最新SSD上可用的新协议，让运营商对数据放置有更多控制权。他们还希望利用AI工作负载中的可预测性来提高SSD操作效率。</p><p>“闪存存储是一项支撑现代数据中心应用的强大技术，但跨工作负载共享这一资源以满足广泛变化的性能需求仍然是一个突出挑战。这项工作以优雅且实用的解决方案显著推进了进展，已准备好部署，使生产云中的闪存存储更接近其全部潜力，”Google软件工程师、即将上任的宾夕法尼亚大学助理教授Josh Fried评价道，他并未参与这项工作。</p><p>这项研究部分由美国国家科学基金会、美国国防高级研究计划局和半导体研究公司资助。</p>