layer-selective-probe

#layer-selective-probe

漂移约束优化：微调指令模型时只有方向重要

arXiv cs.AI ↗ · 6天前缓存

本文提出了一种用于微调指令模型的漂移约束优化方法，着重于更新方向以提升目标任务性能，同时保留现有能力。实验表明，层选择性探测可以在多种语言中增强科学推理和多语言翻译能力。

0 人收藏 0 人点赞