soft-prompt

PromptSD 是一种新颖的在线策略自蒸馏方法，其中教师仅通过一个可学习的软提示与学生不同，从而能够在不产生权重漂移的情况下吸收多任务知识。它在四个任务上匹配或超过完全微调，同时保留通用能力。