LoREnc: 低秩加密用于保护基础模型与LoRA适配器
摘要
LoREnc是一个无需训练的框架,通过谱截断与补偿来保护基础模型和LoRA适配器,防止未经授权的模型恢复,同时为授权用户保持性能。已被ICIP 2026录用。
查看缓存全文
缓存时间: 2026/05/23 02:23
Paper page - LoREnc: Low-Rank Encryption for Securing Foundation Models and LoRA Adapters
来源:https://huggingface.co/papers/2605.13163
摘要
LoREnc 通过谱截断与补偿技术保护基础模型和低秩适配器,在阻止未授权模型恢复的同时,为授权用户维持原有性能。
基础模型 (https://huggingface.co/papers?q=Foundation%20models) 和低秩适配器 (https://huggingface.co/papers?q=low-rank%20adapters) 实现了高效的设备端生成式AI,但也带来了知识产权泄露和模型恢复攻击 (https://huggingface.co/papers?q=model%20recovery%20attacks) 等风险。现有防御手段往往不切实际,因为它们需要重新训练或访问原始数据集。我们提出 LoREnc,一个无需训练的框架,通过谱截断 (https://huggingface.co/papers?q=spectral%20truncation) 与补偿 (https://huggingface.co/papers?q=compensation) 同时保护基础模型和适配器。LoREnc 抑制基础模型权重中的主要低秩分量,在授权适配器中补偿缺失信息,并进一步应用正交重参数化 (https://huggingface.co/papers?q=orthogonal%20reparameterization) 以隐藏被保护适配器的结构特征。未授权用户将输出结构崩塌的结果,而授权用户可恢复精确性能。实验表明,LoREnc 在计算开销 (https://huggingface.co/papers?q=computational%20overhead) 低于1%的情况下,为模型恢复提供强力保护。
查看 arXiv 页面 (https://arxiv.org/abs/2605.13163) 查看 PDF (https://arxiv.org/pdf/2605.13163) 添加到集合 (https://huggingface.co/login?next=%2Fpapers%2F2605.13163)
社区
论文作者
论文提交者
大约1小时前 (https://huggingface.co/papers/2605.13163#6a1100a5bd05b840b514851c)
•
编辑于大约1小时前 (https://huggingface.co/papers/2605.13163#6a1100a5bd05b840b514851c) LoREnc 通过向基础模型注入噪声来保护其权重不被提取,该噪声在 LoRA 适配器中互相抵消——微调输出保持完整,而基础模型权重始终模糊化。已被 ICIP 2026 接收。
通过拖拽、粘贴或点击此处 (https://huggingface.co/papers/2605.13163#) 上传图片、音频和视频。
点击或粘贴此处上传图片
在您的 agent 中获取此论文:
hf papers read 2605.13163
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
暂无模型关联此论文
请在模型 README.md 中引用 arxiv.org/abs/2605.13163,以便从此页面关联。
引用此论文的数据集0
暂无数据集关联此论文
请在数据集 README.md 中引用 arxiv.org/abs/2605.13163,以便从此页面关联。
引用此论文的 Spaces0
暂无 Space 关联此论文
请在 Space README.md 中引用 arxiv.org/abs/2605.13163,以便从此页面关联。
包含此论文的集合0
暂无集合包含此论文
请将此论文添加到集合 (https://huggingface.co/new-collection) 中,以便从此页面关联。
相似文章
如果模型只能学习受信任的LoRA适配器所能表达的内容会怎样?[R]
本研究探讨了将模型的学习限制在仅能学习受信任的LoRA适配器所能表达的内容这一概念,旨在提高微调的安全性和可靠性。
通过 LoRA 实现无审查模型
讨论使用 LoRA 适配器作为比 Heretic 等工具更便宜、更灵活的方案,从大语言模型中移除拒绝回答和内容审查,涉及 weightless 这个 GitHub 项目,以及类似的针对图像模型文本编码器的 LoRA。
CARE-LoRA: 基于压缩激活重建的内存高效LoRA微调框架
CARE-LoRA提出了一种压缩激活重建框架,通过利用低秩投影来减少LoRA微调过程中的内存消耗。该方法在降低内存占用的同时,实现了具有竞争力的性能。
Code2LoRA:超网络生成的适配器,用于软件演进中的代码语言模型
Code2LoRA 引入了一个超网络,该超网络能够从代码仓库中一次性前向传播生成 LoRA 适配器,使得冻结的代码大语言模型无需额外 token 即可适应仓库上下文,并高效支持不断演进的代码库。此外,它还提供了 RepoPeftBench,一个用于仓库条件代码建模的基准测试。
通过零空间投影实现LoRA微调大模型的后门净化
本文提出一种针对LoRA微调大模型的后门净化方法,将LoRA更新投影到正交零空间上,无需获取触发器信息、干净参考数据或重新训练,即可将攻击成功率从约100%降至10%以下,同时保持基模型和适配器的性能。