@ClementDelangue:这是AI构建者在HF Xet上存储的数据量(约11月25日完全替换git存储)。感觉这只是开始,很快将达到艾字节!
摘要
Clement Delangue 强调了AI构建者在 Hugging Face 的 Xet 存储系统上存储的庞大数据量,预测其将很快达到艾字节级别。一条回复将其称为“数据的星际之门”,并指出实验室正朝着2030年每年在数据上花费超过1000亿美元的目标迈进。
查看缓存全文
缓存时间: 2026/07/06 22:22
这就是AI开发者目前在HF Xet上存储的数据量(大约在去年11月25日完全替代了git存储)。感觉这只是个开始,很快应该会达到艾字节级别!https://t.co/nta1UsfDgm
will depue (@willdepue): 数据的星门
各家实验室正朝着2030年每年数据支出超过1000亿美元的轨迹发展。当我们启动万亿美元规模的计算项目时,需要思考如何为核心要素——数据——投入同等规模的文明级工程。
在规模化扩张的基石上
相似文章
@ClementDelangue: AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。@huggingface Storage 是 b…
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。
@willdepue: 数据的星门——实验室正朝着到2030年每年超过1000亿美元的数据支出迈进。随着我们开始万亿美元规模的……
文章认为,AI扩展正触及数据极限,需要类似计算项目的文明规模数据投入,并预测到2030年数据支出将超过每年1000亿美元。
@ClementDelangue:HF 上的基础设施规模惊人。如果你还在用 S3 或 R2 托管模型、数据集、智能体内存等,请联系我们……
Clement Delangue 宣传 Hugging Face 的基础设施可用于托管模型、数据集和智能体内存,声称其比 S3 或 R2 更好、更快、更便宜、更安全。
@julien_c: “你的数据托管在 Hugging Face 上。你的计算运行在 Vast GPU 上。”我太喜欢了!!
vast.ai 现在支持将 Hugging Face Storage Buckets 作为云连接,允许租用的 GPU 实例直接从 HF 存储桶拉取数据集和检查点,并将结果推送回去,无需手动传输。
Hugging Face Storage Buckets(网站)
Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。