auxiliary-objectives

本文对联合嵌入预测架构（JEPA）在自然语言到正则表达式任务上的LLM微调进行了审计，测试了二十二个辅助目标。结果表明，隐藏状态表征的改进与解码任务准确率之间仅存在弱耦合，没有辅助目标通过族系校正。