Hugging Face Storage Buckets(网站)

TLDR AI 产品

摘要

Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。

Hugging Face Storage Buckets 允许开发者以简单的按 TB 定价存储模型、数据集和工件。
查看原文
查看缓存全文

缓存时间: 2026/07/31 18:28

存储 - Hugging Face

来源:https://huggingface.co/storage

Hugging Face 存储桶存储桶

以简单的每TB定价存储模型、数据集和构件。内置CDN、Xet去重,且无git开销。

被超过10,000个AI团队信赖

存储

为AI团队打造的存储

以简单的每TB定价存储模型、数据集和构件。Xet去重。包含CDN。无git开销。

  • 每TB定价,包含内置CDN和去重加速。
  • 无Git限制:免提交同步和快速对象更新。
  • 专为ML工作流设计:数据集、检查点、模型构件。

Xet技术

面向AI的下一代大规模存储

Xet使用内容定义的块划分将文件拆分为字节级块,并在整个存储桶中进行去重。当你重新训练模型且仅5%的权重发生变化时,只有那5%会被重新上传。

  • 原始+处理后的数据集:一次存储,一次计费*
  • 每次上传数据量减少4倍,已通过真实工作负载验证

*需要企业版或企业增强版 (https://huggingface.co/enterprise)计划

定价

透明、基于容量的定价

简单的每TB定价,随使用量扩展。出站流量和CDN均包含在内,无需额外费用。

数据存储

以任意规模组装训练数据

将来自所有来源的原始数据倒入一个存储桶:爬取数据、标注、合成输出、合作伙伴数据集。无git开销,无提交队列,无文件数量限制。当训练开始时,你的数据已经就绪,通过内置CDN流式传输到GPU。

  • 上传后立即可用,无需排队提交
  • 批量API单次调用即可处理数千个文件
  • 原始+处理后的数据集使用去重 = 无双重计费*

*需要企业版或企业增强版 (https://huggingface.co/enterprise)计划

计算无关

你的数据,独立于你的计算

你的数据存在于一个中立的位置,而非单个云内部。将训练和推理指向任何有容量或价格最优的提供商,无需重新上传PB级数据或支付离开时的出站流量费用即可切换。

  • 从一个存储桶在AWS、GCP、Nebius或你自己的集群上进行训练
  • 永不被单一提供商的价格或容量锁定
  • 预热的CDN将数据保留在GPU附近,无论它们在何处运行

CDN

内置CDN,实现极速访问

每个存储桶都包含CDN。在你计算的位置附近预热本地缓存,以获得超快的流式传输和下载。出站流量包含在内,最高可达总存储量的8:1慷慨比例。

  • 在任何你需要的云区域预热缓存
  • 我们的CDN部署在GCP和AWS网络内部
  • 出站流量包含在内,最高可达存储量的8:1

更多提供商即将推出

编码代理

为你的编码代理提供持久化存储

编码代理在临时环境中运行,但它们的输出不应消失。检查点、基准测试结果、生成的数据集:只需在你的代理的bash工具中执行一条hf sync命令即可。

  • 预热的CDN和无git开销,实现快速读写
  • 在临时CI运行和终端会话之间持久化构件
  • 安装官方HF CLI技能 (https://huggingface.co/docs/hub/en/agents-cli),你的代理就能掌握所有命令

AES-256加密

静态和传输中的端到端加密

审计日志

对每个访问事件的完整可见性

SSO与RBAC

企业级SSO,支持基于角色的访问控制

美国与欧盟区域

选择你的数据存储位置

SOC 2 Type II|GDPR合规

开始使用HF存储桶HF存储桶

从存储桶开始,同步你的AI数据,解锁专为ML工作流构建的对象存储。

相似文章

Hugging Face Hub 推出 Storage Buckets

Hugging Face Blog

Hugging Face 推出 Storage Buckets,这是 Hub 上全新的可变性类 S3 对象存储功能,通过其 Xet 后端实现高效去重,专为生产级 ML 工作流优化。