error-subspace

标签

Cards List
#error-subspace

用于多任务模型合并的误差子空间校准

arXiv cs.LG ↗ · 23小时前 缓存

本文提出了误差子空间校准(ESCal),这是一种模型合并后校准框架,通过专家模型与合并模型之间的权重差异识别低维误差子空间,并利用轻量级桥接模块恢复特定任务的行为。在视觉和自然语言理解基准上的实验表明,ESCal 能够在多种架构和合并方法下提升合并模型的性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈