@ClementDelangue: AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。@huggingface Storage 是 b…

X AI KOLs Following 产品

摘要

Hugging Face推出Storage Buckets,这是一个专为AI团队构建的存储解决方案,提供按TB计费、内置CDN以及针对模型权重、数据集和检查点的Xet去重功能。

AI团队不应被迫在昂贵的对象存储和痛苦的Git工作流之间做出选择。 @huggingface Storage 专为模型权重、数据集、检查点和工件构建: - 简单的按TB计费 - 内置CDN - Xet去重 - 需要时默认私有 将您的AI数据存储在您已经在进行AI工作的地方:
查看原文
查看缓存全文

缓存时间: 2026/05/17 03:27

AI 团队无需在昂贵的对象存储和繁琐的 Git 工作流之间做出选择。

@huggingface Storage 专为模型权重、数据集、检查点和构件而建:

  • 简单的每 TB 定价
  • 内置 CDN
  • Xet 去重
  • 需要时默认私有

将你的 AI 数据存放在 AI 工作已经发生的地方:


存储服务 - Hugging Face

来源:https://huggingface.co/storage

Hugging Face 存储桶存储桶

存储模型、数据集和构件,采用简单的每 TB 定价。内置 CDN、Xet 去重,无需 Git 开销。

深受 10,000 多个 AI 团队的信任

存储服务

专为 AI 团队打造的存储

存储模型、数据集和构件,采用简单的每 TB 定价。Xet 去重。包含 CDN。无需 Git 开销。

  • 每 TB 定价,内置 CDN 和去重加速。
  • 无 Git 限制:无需提交即可同步,对象更新迅速。
  • 专为 ML 工作流设计:数据集、检查点、模型构件。

Xet 技术

面向 AI 的下一代大规模存储

Xet 使用内容定义的分块技术,将文件拆分为字节级块,并在整个存储桶中进行去重。当你重新训练模型,且只有 5% 的权重发生变化时,只需重新上传这 5% 的数据。

  • 原始 + 处理后的数据集:存储一次,计费一次*
  • 每次上传的数据量减少 4 倍,经真实工作负载验证

*需要 Enterprise 或 Enterprise Plus (https://huggingface.co/enterprise) 计划

定价

透明、基于容量的定价

简单的每 TB 定价,随使用量扩展。出站流量和 CDN 均包含在内,无需额外费用。

数据存储

以任意规模组装训练数据

将来自各个来源的原始数据倒入单个存储桶:网络爬虫、标注、合成输出、合作伙伴数据集。没有 Git 开销,没有提交队列,没有文件数量限制。当训练开始时,你的数据已经就位,通过内置 CDN 流式传输到 GPU。

  • 上传后立即可用,无需排队提交
  • 批处理 API 单次调用即可处理数千个文件
  • 原始 + 处理后的数据集,利用去重避免双重计费*

*需要 Enterprise 或 Enterprise Plus (https://huggingface.co/enterprise) 计划

CDN

内置 CDN,极速访问

每个存储桶都包含一个 CDN。在靠近计算资源的位置预热本地缓存,实现超快速流式传输和下载。出站流量包含在内,最高可达总存储量的 8:1。

  • 在任意需要的云区域预热缓存
  • 我们的 CDN 部署在 GCP 和 AWS 网络内
  • 出站流量包含在内,最高可达存储量的 8:1

更多服务提供商即将推出

编码 Agent

为你的编码 Agent 提供持久化存储

编码 Agent 在临时环境中运行,但它们的输出不应消失。检查点、基准结果、生成的数据集:只需在 Agent 的 bash 工具中执行一条 hf sync 命令即可。

  • 预热的 CDN 和无 Git 开销,实现快速读写
  • 在临时 CI 运行和终端会话之间持久化构件
  • 安装官方 HF CLI 技能 (https://huggingface.co/docs/hub/en/agents-cli),你的 Agent 便能掌握所有命令

AES-256 加密

静态和传输中的端到端加密

审计日志

全面掌握每一次访问事件

SSO 与 RBAC

企业 SSO 与基于角色的访问控制

美国与欧洲区域

选择你的数据存放位置

符合 SOC 2 Type II 及 GDPR 标准

开始使用 HF 存储桶 HF 存储桶

从存储桶开始,同步你的 AI 数据,解锁专为 ML 工作流构建的对象存储。

相似文章

Hugging Face Storage Buckets(网站)

TLDR AI

Hugging Face 推出 Storage Buckets,这是一项面向 AI 团队的可扩展对象存储服务,采用按 TB 计费、Xet 去重、内置 CDN,且无 git 开销,专为数据集、模型检查点和 ML 工件设计。

Hugging Face Hub 推出 Storage Buckets

Hugging Face Blog

Hugging Face 推出 Storage Buckets,这是 Hub 上全新的可变性类 S3 对象存储功能,通过其 Xet 后端实现高效去重,专为生产级 ML 工作流优化。