标签
本文介绍了Diff Mining，一个通过分析微调模型和基础模型之间的逻辑值差异来识别语言模型中微调目标的框架，从而实现对学习行为的可解释审计。
本文介绍了对比解码差异法（CDD），该方法仅通过logits访问即可从LLM中恢复逐字微调数据，无需模型权重或激活。它在多个模型系列中展示了高水平的逐字恢复能力，并揭示了意外数据泄露，例如来自合成训练数据的反复出现的虚构角色'Dr. Elena Rodriguez'。