标签
介绍“过度思考”技术，通过放大推理蒸馏模型中的推理权重，诱导语言模型泄露隐藏信息，在2B-32B参数规模的模型上展示了高达10倍的秘密泄露效果。
本文识别了预训练模型中的“承重墙”维度，这些维度保留了模型合并中任务向量未完全捕获的任务特定知识，并提出了PACT（PreserveAnchoredCores）来保留这些核心，在多个基准测试中实现了最先进的性能。
本文提出将基于任务向量和上下文学习推理之间的分布对齐作为设计任务向量的准则，并引入线性任务向量（LTV），通过闭式线性映射最小化下一个标记概率差异。LTV 在八个基准测试和五个大语言模型上比基线平均准确率提高 9.2%。