Safetensors 加入 PyTorch 基金会

来源：https://huggingface.co/blog/safetensors-joins-pytorch-foundation 返回文章 (https://huggingface.co/blog)

Luc Georges 的头像 (https://huggingface.co/mcpotato)

Lysandre 的头像 (https://huggingface.co/lysandre)

• 我们如何走到今天 (https://huggingface.co/blog/safetensors-joins-pytorch-foundation#how-we-got-here)
• 为何选择 PyTorch 基金会 (https://huggingface.co/blog/safetensors-joins-pytorch-foundation#why-the-pytorch-foundation)
• 对用户和贡献者意味着什么 (https://huggingface.co/blog/safetensors-joins-pytorch-foundation#what-this-means-for-users-and-contributors)
• 未来展望 (https://huggingface.co/blog/safetensors-joins-pytorch-foundation#what-comes-next)
• 参与贡献 (https://huggingface.co/blog/safetensors-joins-pytorch-foundation#get-involved)

今天，我们宣布 Safetensors 作为基金会托管项目加入 PyTorch 基金会，隶属于 Linux 基金会，与 DeepSpeed、Helion、Ray、vLLM 以及 PyTorch 本身成为伙伴。

https://huggingface.co/blog/safetensors-joins-pytorch-foundation#how-we-here我们如何走到今天

Safetensors 最初是 Hugging Face 的一个项目，源于一个具体需求：寻找一种存储和共享模型权重的方式，且该方式无法执行任意代码。当时生态系统中占主导地位的 pickle 格式意味着运行恶意代码的风险非常真实。虽然这在机器学习尚处于萌芽阶段时是可以接受的风险，但随着开放模型共享成为机器学习社区运作的核心，这种风险将变得不可接受。

我们构建的格式刻意保持简单：一个硬限制为 100MB 的 JSON 头部，描述张量元数据，后面紧跟原始张量数据。零拷贝加载，将张量直接从磁盘映射。懒加载，让你无需反序列化整个检查点即可读取单个权重。

我们没有完全预料到的是它会被如此广泛地采用。如今，Safetensors 是 Hugging Face Hub 及其他平台模型分发的默认格式，被数万个涵盖机器学习所有模态的模型所使用。它已成为开源机器学习社区共享模型的首选方式。

https://huggingface.co/blog/safetensors-joins-pytorch-foundation#why-the-pytorch-foundation为何选择 PyTorch 基金会

我们希望 Safetensors 真正属于社区。该项目一直是开源的，但代码贡献只是其演进的一部分。通过让更多公司和贡献者参与项目治理，我们确保其进展能够反映在其上构建的社区的广度。加入 PyTorch 基金会意味着 Safetensors 现在有了一个供应商中立的家园。商标、代码仓库和项目治理都归属于 Linux 基金会，而非任何单一公司。Hugging Face 的两位核心维护者 Luc 和 Daniel 仍留在技术指导委员会，继续日常领导项目，但 Safetensors 现在正式属于依赖它的社区。

我们相信，当每位贡献者都能基于已有成果进行构建时，安全性才能得到最佳保障；这一原则现已嵌入项目的治理之中。

https://huggingface.co/blog/safetensors-joins-pytorch-foundation#what-this-means-for-users-and-contributors对用户和贡献者意味着什么

对绝大多数用户而言，一切如常。格式不变，API 不变，Hub 集成不变：没有破坏性变更。今天以 Safetensors 格式存储的模型将继续完全按现有方式工作。

对贡献者而言，成为维护者的路径现已正式成文，并向社区中的任何人开放。项目治理规范位于代码仓库的 GOVERNANCE.md 和 MAINTAINERS.md 中。对于在 Safetensors 之上构建的组织，Linux 基金会旗下的中立治理提供了一个稳定、长期的、完全由社区驱动的基础。

https://huggingface.co/blog/safetensors-joins-pytorch-foundation#what-comes-next未来展望

Safetensors 是一个已被生态系统广泛采用的成熟项目，但我们仍坚信这仅仅是项目的开端。

我们正在与 PyTorch 团队合作，使 Safetensors 能够在 PyTorch 核心中用作 torch 模型的序列化系统。

未来几个月将迎来显著增长，我们认为没有比 PyTorch 基金会更好的归宿来开启下一篇章。未来的路线图包括设备感知加载和保存，使张量能够直接加载到 CUDA、ROCm 及其他加速器上，无需不必要的 CPU 中转。

我们还在构建 Tensor Parallel 和 Pipeline Parallel 加载的一流 API，让每个 rank 或流水线阶段只加载其所需的权重。随着生态系统量化格局的持续演进，我们将正式支持 FP8、GPTQ 和 AWQ 等块量化格式，以及亚字节整数类型。

这些都是整个生态系统都有责任解决的问题，而身处 PyTorch 基金会意味着我们可以与其他托管项目协作解决，而非各自为战。

https://huggingface.co/blog/safetensors-joins-pytorch-foundation#get-involved参与贡献

Safetensors 是开源项目，欢迎各个层面的贡献，从 bug 报告、文档到新功能以及参与治理。

• **GitHub：**github.com/huggingface/safetensors (https://github.com/huggingface/safetensors)
• **文档：**huggingface.co/docs/safetensors (https://huggingface.co/docs/safetensors)
• **PyTorch 基金会：**pytorch.org/foundation (https://pytorch.org/foundation)

如果你是基于 Safetensors 构建的开发者、研究者或组织，希望更深入参与塑造其发展方向，请提交 issue、发起讨论，或直接联系维护者。该项目一直属于使用它的社区。现在的治理也体现了这一点。