@ClementDelangue:这是AI构建者在HF Xet上存储的数据量(约11月25日完全替换git存储)。感觉这只是开始,很快将达到艾字节!
摘要
Clement Delangue 强调了AI构建者在 Hugging Face 的 Xet 存储系统上存储的庞大数据量,预测其将很快达到艾字节级别。一条回复将其称为“数据的星际之门”,并指出实验室正朝着2030年每年在数据上花费超过1000亿美元的目标迈进。
查看缓存全文
缓存时间: 2026/07/06 22:22
这就是AI开发者目前在HF Xet上存储的数据量(大约在去年11月25日完全替代了git存储)。感觉这只是个开始,很快应该会达到艾字节级别!https://t.co/nta1UsfDgm
will depue (@willdepue): 数据的星门
各家实验室正朝着2030年每年数据支出超过1000亿美元的轨迹发展。当我们启动万亿美元规模的计算项目时,需要思考如何为核心要素——数据——投入同等规模的文明级工程。
在规模化扩张的基石上
相似文章
@ClementDelangue: AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。@huggingface Storage 是 b…
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。
@willdepue: 数据的星门——实验室正朝着到2030年每年超过1000亿美元的数据支出迈进。随着我们开始万亿美元规模的……
文章认为,AI扩展正触及数据极限,需要类似计算项目的文明规模数据投入,并预测到2030年数据支出将超过每年1000亿美元。
@ClementDelangue:HF 上的基础设施规模惊人。如果你还在用 S3 或 R2 托管模型、数据集、智能体内存等,请联系我们……
Clement Delangue 宣传 Hugging Face 的基础设施可用于托管模型、数据集和智能体内存,声称其比 S3 或 R2 更好、更快、更便宜、更安全。
@Thom_Wolf: 人们正在忽视Hugging Face上每周都在进行的AI x Science大型发布,这一次是80TB的天体物理数据……
多模态宇宙(MMU)是一个80TB以上的天文巡天数据集,已被转换为HATS parquet格式,使得可以通过LSDB和Hugging Face生态系统在笔记本电脑上进行交叉匹配,无需批量下载。
Hugging Face 数据集突破 100 万!
庆祝 Hugging Face 社区达成 100 万个数据集的里程碑,彰显社区通过开放数据协作推动 AI 发展的共同努力。