inference-delegation

本文表明，基础LLM与大型推理模型之间的推理差距集中在少量早期规划令牌上。本文提出一种基于分歧的令牌干预方法，仅用推理模型的输出替换这些关键令牌，即可使基础模型的表现几乎与推理模型持平。