@adithya_s_k: HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活简单得多。以前……

X AI KOLs Following 产品

摘要

Hugging Face 存储桶被称赞为一种经济实惠且简单的解决方案,用于大规模数据管理,避免了其他提供商高昂的出站费用。

HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活简单得多。 在此之前,在 Azure、Modal 或 AWS 等计算提供商之间切换时非常痛苦。 Azure 存储很贵,而且出站费用高得离谱。我曾經花了数千美元才把数TB的数据从 Azure 迁移出去。 现在我可以简单地将存储桶挂载到 Modal 计算实例或 Azure/AWS 虚拟机上,而无需过多担心。
查看原文
查看缓存全文

缓存时间: 2026/05/16 15:22

HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活变得简单得多。

在这之前,在 Azure、Modal 或 AWS 等计算提供商之间切换非常痛苦。

Azure 存储很贵,出口费用高得离谱。我曾经花了几千美元只是为了将 TB 级的数据从 Azure 迁移出去。

现在,我可以简单地将一个存储桶挂载到 Modal 计算实例或 Azure/AWS 虚拟机上,而不用太担心。

clem 🤗 (@ClementDelangue): AI 团队不应该在昂贵的对象存储和痛苦的 Git 工作流之间做选择。

@huggingface 存储专为模型权重、数据集、检查点和工件而设计:

  • 简单的每 TB 定价
  • 内置 CDN
  • Xet 去重
  • 需要时默认私有

Store

相似文章

Hugging Face Hub 推出 Storage Buckets

Hugging Face Blog

Hugging Face 推出 Storage Buckets,这是 Hub 上全新的可变性类 S3 对象存储功能,通过其 Xet 后端实现高效去重,专为生产级 ML 工作流优化。

Hugging Face Storage Buckets(网站)

TLDR AI

Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。