标签
本文确定了两种结构机制，导致多任务高斯过程在贝叶斯优化迁移学习中错误估计跨任务相关性，即使对于仿射相关的任务也是如此。作者提出了三种保守的补救措施来缓解这些问题。
本文对Sub-1B模型在数学推理任务上进行了基准测试，揭示全量微调会主动损害300M参数以下模型的性能，而LoRA和DoRA等参数高效微调（PEFT）则提供了稳定性。作者建议对所有对齐的Sub-1B模型默认使用PEFT，并警告不要对小于500M参数的架构使用全量微调，以防止灾难性遗忘。
本文系统评估了语言智能体的模型生成技能，涵盖经验生成、提取和消耗的完整生命周期，发现技能平均有益但存在显著的负迁移，从而引出一种提高技能质量的元技能。