论文页面 - 通过轨迹重写保护语言模型免受未授权蒸馏

来源：https://huggingface.co/papers/2602.15143

摘要

我们提出了一种修改教师模型生成推理轨迹的方法，可在保持答案正确性的同时防止未授权知识蒸馏，并支持可检测的水印。

知识蒸馏是将大模型能力迁移到更小、更高效学生模型的常用技术。然而，未授权知识蒸馏无偿占用了开发前沿模型所投入的巨大成本与精力。我们研究如何修改教师生成的推理轨迹，以实现两大目标，从而遏制未授权蒸馏：

1. 反蒸馏：降低查询响应对训练的价值；
2. API 水印：在学生模型中嵌入可验证的签名。

我们引入多种动态重写教师推理输出的方法，在保持答案正确性与语义连贯性的同时达成上述目标。其中两种方法利用大模型的重写能力，其余采用基于梯度的技术。实验表明，简单的基于指令的重写即可产生显著的反蒸馏效果，且教师模型性能不降反升。此外，该重写方法还能嵌入几乎零误报、可可靠检测的水印。代码已开源：https://github.com/xhOwenMa/trace-rewriting。

查看 arXiv 页面（https://arxiv.org/abs/2602.15143）
查看 PDF（https://arxiv.org/pdf/2602.15143）
GitHub（https://github.com/xhOwenMa/trace-rewriting）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2602.15143）

在智能体中获取本文：

hf papers read 2602.15143

还没装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型引用

在模型 README.md 中引用 arxiv.org/abs/2602.15143 即可在此页面显示链接。

引用该论文的数据集 0

暂无数据集引用

在数据集 README.md 中引用 arxiv.org/abs/2602.15143 即可在此页面显示链接。

引用该论文的 Spaces 0

暂无 Space 引用

在 Space README.md 中引用 arxiv.org/abs/2602.15143 即可在此页面显示链接。

包含该论文的收藏 0

暂无收藏包含

创建收藏并添加该论文，即可在此页面显示链接。