@adithya_s_k: HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活简单得多。以前……

X AI KOLs Following 产品

摘要

Hugging Face 存储桶被称赞为一种经济实惠且简单的解决方案,用于大规模数据管理,避免了其他提供商高昂的出站费用。

HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活简单得多。 在此之前,在 Azure、Modal 或 AWS 等计算提供商之间切换时非常痛苦。 Azure 存储很贵,而且出站费用高得离谱。我曾經花了数千美元才把数TB的数据从 Azure 迁移出去。 现在我可以简单地将存储桶挂载到 Modal 计算实例或 Azure/AWS 虚拟机上,而无需过多担心。
查看原文
查看缓存全文

缓存时间: 2026/05/16 15:22

HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活变得简单得多。

在这之前,在 Azure、Modal 或 AWS 等计算提供商之间切换非常痛苦。

Azure 存储很贵,出口费用高得离谱。我曾经花了几千美元只是为了将 TB 级的数据从 Azure 迁移出去。

现在,我可以简单地将一个存储桶挂载到 Modal 计算实例或 Azure/AWS 虚拟机上,而不用太担心。

clem 🤗 (@ClementDelangue): AI 团队不应该在昂贵的对象存储和痛苦的 Git 工作流之间做选择。

@huggingface 存储专为模型权重、数据集、检查点和工件而设计:

  • 简单的每 TB 定价
  • 内置 CDN
  • Xet 去重
  • 需要时默认私有

Store

相似文章

Hugging Face Hub 推出 Storage Buckets

Hugging Face Blog

Hugging Face 推出 Storage Buckets,这是 Hub 上全新的可变性类 S3 对象存储功能,通过其 Xet 后端实现高效去重,专为生产级 ML 工作流优化。