@adithya_s_k: HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活简单得多。以前……
摘要
Hugging Face 存储桶被称赞为一种经济实惠且简单的解决方案,用于大规模数据管理,避免了其他提供商高昂的出站费用。
查看缓存全文
缓存时间: 2026/05/16 15:22
HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活变得简单得多。
在这之前,在 Azure、Modal 或 AWS 等计算提供商之间切换非常痛苦。
Azure 存储很贵,出口费用高得离谱。我曾经花了几千美元只是为了将 TB 级的数据从 Azure 迁移出去。
现在,我可以简单地将一个存储桶挂载到 Modal 计算实例或 Azure/AWS 虚拟机上,而不用太担心。
clem 🤗 (@ClementDelangue): AI 团队不应该在昂贵的对象存储和痛苦的 Git 工作流之间做选择。
@huggingface 存储专为模型权重、数据集、检查点和工件而设计:
- 简单的每 TB 定价
- 内置 CDN
- Xet 去重
- 需要时默认私有
Store
相似文章
Hugging Face Hub 推出 Storage Buckets
Hugging Face 推出 Storage Buckets,这是 Hub 上全新的可变性类 S3 对象存储功能,通过其 Xet 后端实现高效去重,专为生产级 ML 工作流优化。
Hugging Face Storage Buckets(网站)
Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。
@ClementDelangue: AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。@huggingface Storage 是 b…
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。
@ClementDelangue: 很高兴看到@CommonCrawl 使用并推荐 @huggingface Buckets 用于大规模不断演变的训练数据集!…
Hugging Face 宣布推出 Storage Buckets,这是一种适用于大规模不断演变的训练数据集的存储解决方案,内置 CDN 和去重功能,并获得 CommonCrawl 的推荐。
@julien_c: “你的数据托管在 Hugging Face 上。你的计算运行在 Vast GPU 上。”我太喜欢了!!
vast.ai 现在支持将 Hugging Face Storage Buckets 作为云连接,允许租用的 GPU 实例直接从 HF 存储桶拉取数据集和检查点,并将结果推送回去,无需手动传输。