GPU集群因等待存储而闲置，比我想象的更常见

在最近的一次AI基础设施聚会上，与几个人聊了聊，反复听到的抱怨不是计算能力，而是存储无法在训练期间足够快地喂给GPU，特别是当大型非结构化数据集存放在旧的NAS或并非为那种吞吐量设计的通用存储上。有几个人提到为此转向专门为高吞吐量S3访问而构建的存储平台，提到了Cloudian的HyperStore和VAST Data。有趣的是，看到“存储”成为GPU社区中的瓶颈话题，感觉这里比以往更新了。有人在自己的训练集群上遇到这个问题吗？好奇哪些方案真正解决了问题，而不是仅仅减轻了痛苦。