标签
本文提出了CRN v2，一个轻量级的纠正模块，能够在不降低基座能力的前提下修复冻结语言模型中的错误，在领域考试中实现53.3%的纠正率，同时保持标准基准测试的性能。
本文研究将关于监督微调（SFT）的经验跨对齐训练、模型生物和玩具模型进行迁移，表明像基于行为原因的训练和混合模型内数据等技术可以改善泛化性和能力保持。