很高兴看到 @CommonCrawl 正在使用并推荐 @huggingface Buckets 来处理大规模、持续演进的训练数据集！如果您有私有模型或数据集，不妨试一试，并告诉我们您的想法！https://t.co/tIdl3OfNJS https://t.co/7tD4eGVQ6A

存储 - Hugging Face

来源：https://huggingface.co/storage

Hugging Face 存储桶（Storage Buckets）

以简单的每 TB 定价存储模型、数据集和工件。内置 CDN、Xet 去重，且无 Git 开销。

受到超过10,000个AI团队的信任

存储

为 AI 团队打造的存储方案

以简单的每 TB 定价存储模型、数据集和工件。Xet 去重。包含 CDN。无 Git 开销。

• 每 TB 定价，内置 CDN 和去重加速。
• 无 Git 限制：免提交同步和快速对象更新。
• 专为 ML 工作流设计：数据集、检查点、模型工件。

Xet 技术

面向 AI 的下一代大规模存储

Xet 使用内容定义的分块技术将文件拆分为字节级块，并在整个存储桶中进行去重。当您重新训练模型且仅有 5% 的权重发生变化时，只需重新上传那 5%。

• 原始 + 预处理数据集：存储一次，计费一次*
• 每次上传数据量减少 4 倍，经真实工作负载验证

*需要Enterprise 或 Enterprise Plus (https://huggingface.co/enterprise)计划

定价

透明、按量计价的定价

简单的每 TB 定价，随使用量扩展。出站流量和 CDN 均包含在内，无需额外费用。

数据存储

以任何规模组装训练数据

将来自各种来源的原始数据倒入一个存储桶：爬取数据、标注数据、合成输出、合作伙伴数据集。无 Git 开销、无提交队列、无文件数量限制。训练开始时，您的数据已经就位，通过内置 CDN 流式传输到 GPU。

• 上传后立即可用，无需排队提交
• 批量 API 可单次调用处理数千个文件
• 原始 + 预处理数据集配合去重 = 免双重计费*

*需要Enterprise 或 Enterprise Plus (https://huggingface.co/enterprise)计划

CDN

内置 CDN，极速访问

每个存储桶都包含一个 CDN。在靠近计算资源的位置预热本地缓存，实现超快速流式传输和下载。出站流量最多包含至存储总量的 8:1 的慷慨比例。

• 在任何需要的云区域预热缓存
• 我们的 CDN 部署在 GCP 和 AWS 网络内部
• 出站流量包含至存储量的 8:1

更多提供商即将推出

编码代理（Coding Agents）

为您的编码代理提供持久存储

编码代理在临时环境中运行，但它们的输出不应消失。检查点、基准测试结果、生成的数据集：只需在代理的 bash 工具中执行一次 hf sync 命令即可。

• 预热 CDN，无 Git 开销，实现快速读写
• 在临时 CI 运行和终端会话中持久保存工件
• 安装官方的HF CLI 技能 (https://huggingface.co/docs/hub/en/agents-cli)后，您的代理可识别所有命令

AES-256 加密

静态和传输中的端到端加密

审计日志

完整查看所有访问事件

SSO 与 RBAC

企业级 SSO 及基于角色的访问控制

美国和欧盟区域

选择您的数据存储位置

SOC 2 Type II | GDPR 合规

开始使用HF 存储桶（Storage Buckets）

从存储桶开始，同步您的 AI 数据，解锁专为 ML 工作流构建的对象存储。