Hugging Face Storage Buckets(网站)
摘要
Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。
查看缓存全文
缓存时间: 2026/07/31 18:28
存储 - Hugging Face
来源:https://huggingface.co/storage
Hugging Face 存储桶存储桶
以简单的每TB定价存储模型、数据集和构件。内置CDN、Xet去重,且无git开销。
被超过10,000个AI团队信赖
存储
为AI团队打造的存储
以简单的每TB定价存储模型、数据集和构件。Xet去重。包含CDN。无git开销。
- 每TB定价,包含内置CDN和去重加速。
- 无Git限制:免提交同步和快速对象更新。
- 专为ML工作流设计:数据集、检查点、模型构件。
Xet技术
面向AI的下一代大规模存储
Xet使用内容定义的块划分将文件拆分为字节级块,并在整个存储桶中进行去重。当你重新训练模型且仅5%的权重发生变化时,只有那5%会被重新上传。
- 原始+处理后的数据集:一次存储,一次计费*
- 每次上传数据量减少4倍,已通过真实工作负载验证
*需要企业版或企业增强版 (https://huggingface.co/enterprise)计划
定价
透明、基于容量的定价
简单的每TB定价,随使用量扩展。出站流量和CDN均包含在内,无需额外费用。
数据存储
以任意规模组装训练数据
将来自所有来源的原始数据倒入一个存储桶:爬取数据、标注、合成输出、合作伙伴数据集。无git开销,无提交队列,无文件数量限制。当训练开始时,你的数据已经就绪,通过内置CDN流式传输到GPU。
- 上传后立即可用,无需排队提交
- 批量API单次调用即可处理数千个文件
- 原始+处理后的数据集使用去重 = 无双重计费*
*需要企业版或企业增强版 (https://huggingface.co/enterprise)计划
计算无关
你的数据,独立于你的计算
你的数据存在于一个中立的位置,而非单个云内部。将训练和推理指向任何有容量或价格最优的提供商,无需重新上传PB级数据或支付离开时的出站流量费用即可切换。
- 从一个存储桶在AWS、GCP、Nebius或你自己的集群上进行训练
- 永不被单一提供商的价格或容量锁定
- 预热的CDN将数据保留在GPU附近,无论它们在何处运行
CDN
内置CDN,实现极速访问
每个存储桶都包含CDN。在你计算的位置附近预热本地缓存,以获得超快的流式传输和下载。出站流量包含在内,最高可达总存储量的8:1慷慨比例。
- 在任何你需要的云区域预热缓存
- 我们的CDN部署在GCP和AWS网络内部
- 出站流量包含在内,最高可达存储量的8:1
更多提供商即将推出
编码代理
为你的编码代理提供持久化存储
编码代理在临时环境中运行,但它们的输出不应消失。检查点、基准测试结果、生成的数据集:只需在你的代理的bash工具中执行一条hf sync命令即可。
- 预热的CDN和无git开销,实现快速读写
- 在临时CI运行和终端会话之间持久化构件
- 安装官方HF CLI技能 (https://huggingface.co/docs/hub/en/agents-cli),你的代理就能掌握所有命令
AES-256加密
静态和传输中的端到端加密
审计日志
对每个访问事件的完整可见性
SSO与RBAC
企业级SSO,支持基于角色的访问控制
美国与欧盟区域
选择你的数据存储位置
SOC 2 Type II|GDPR合规
开始使用HF存储桶HF存储桶
从存储桶开始,同步你的AI数据,解锁专为ML工作流构建的对象存储。
相似文章
Hugging Face Hub 推出 Storage Buckets
Hugging Face 推出 Storage Buckets,这是 Hub 上全新的可变性类 S3 对象存储功能,通过其 Xet 后端实现高效去重,专为生产级 ML 工作流优化。
@ClementDelangue: AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。@huggingface Storage 是 b…
Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。
@ClementDelangue: 很高兴看到@CommonCrawl 使用并推荐 @huggingface Buckets 用于大规模不断演变的训练数据集!…
Hugging Face 宣布推出 Storage Buckets,这是一种适用于大规模不断演变的训练数据集的存储解决方案,内置 CDN 和去重功能,并获得 CommonCrawl 的推荐。
@adithya_s_k: HF 存储桶被严重低估了,如果你在处理大规模数据,它会让生活简单得多。以前……
Hugging Face 存储桶被称赞为一种经济实惠且简单的解决方案,用于大规模数据管理,避免了其他提供商高昂的出站费用。
@julien_c: “你的数据托管在 Hugging Face 上。你的计算运行在 Vast GPU 上。”我太喜欢了!!
vast.ai 现在支持将 Hugging Face Storage Buckets 作为云连接,允许租用的 GPU 实例直接从 HF 存储桶拉取数据集和检查点,并将结果推送回去,无需手动传输。