@julien_c: “你的数据托管在 Hugging Face 上。你的计算运行在 Vast GPU 上。”我太喜欢了!!
摘要
vast.ai 现在支持将 Hugging Face Storage Buckets 作为云连接,允许租用的 GPU 实例直接从 HF 存储桶拉取数据集和检查点,并将结果推送回去,无需手动传输。
查看缓存全文
缓存时间: 2026/08/06 18:41
“你的数据在 Hugging Face 上,你的算力在 Vast GPU 上运行。”
我太喜欢这个了!!
vast.ai (@vast_ai): Hugging Face Storage Buckets 现已上线 https://t.co/2WHvjspuyh
在你的 Vast 设置中,将你的 HF Storage Bucket 连接为云连接,这样你租的每个 GPU 实例都能直接从你的 bucket 中拉取数据集和检查点,并把结果推送回去。无需手动传输,无需
相似文章
@ClementDelangue: AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。@huggingface Storage 是 b…
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。
在任何云上运行AI工作负载,存储在Hugging Face:SkyPilot的零出口存储
Hugging Face Storage现已成为SkyPilot的一级后端,允许用户将Hugging Face仓库和存储桶挂载到任何云上的任务中,无需支付出口费用,从而在多个提供商之间实现灵活的GPU计算。
Hugging Face Storage Buckets(网站)
Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。
@ClementDelangue: 很高兴看到@CommonCrawl 使用并推荐 @huggingface Buckets 用于大规模不断演变的训练数据集!…
Hugging Face 宣布推出 Storage Buckets,这是一种适用于大规模不断演变的训练数据集的存储解决方案,内置 CDN 和去重功能,并获得 CommonCrawl 的推荐。
@ClementDelangue:这是AI构建者在HF Xet上存储的数据量(约11月25日完全替换git存储)。感觉这只是开始,很快将达到艾字节!
Clement Delangue 强调了AI构建者在 Hugging Face 的 Xet 存储系统上存储的庞大数据量,预测其将很快达到艾字节级别。一条回复将其称为“数据的星际之门”,并指出实验室正朝着2030年每年在数据上花费超过1000亿美元的目标迈进。