论文页面 - Pristine Models

来源：https://huggingface.co/papers/2610.14091

摘要

在广泛、未经筛选的数据上训练能够实现高质量的图像生成，但也可能让模型学会不应生成的概念；限制训练数据可以确保安全，却会降低质量，因为包含不安全概念的样本也提供了本身并不危险的有用知识。现有方法主要通过事后的概念遗忘来处理这一权衡，但随着需要移除的概念数量增加，这可能导致灾难性遗忘。我们转而探讨：能否在预训练期间将不安全概念知识隔离，使其访问权限可在推理时关闭。我们提出了 Pristine Models，这是一种新颖的文本到图像生成架构，其注意力机制促进安全知识与不安全知识分离到具有独立参数的分支中。各分支的专属参数在训练期间学习，而不安全分支可以在推理时移除。在 ImageNet 上，Pristine Models 在保留全量数据预训练的大部分效用的同时，实现了更安全的生成，其图像质量和文本对齐程度均优于仅使用安全数据训练或应用事后概念移除的方法。我们进一步将该方法扩展至 CC12M，证明它在规模显著更大、更多样化的开放世界预训练环境中仍然有效。

查看 arXiv 页面 (https://arxiv.org/abs/2610.14091)查看 PDF (https://arxiv.org/pdf/2610.14091)项目页面 (https://anisundar18.github.io/PristineModels.github.io/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14091)

在你的智能体中获取这篇论文：

hf papers read 2610\.14091

还没有最新版本的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.14091，即可从此页面链接到该模型。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.14091，即可从此页面链接到该数据集。

引用这篇论文的 Spaces0

没有 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.14091，即可从此页面链接到该 Space。

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到一个合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。