additive-composition

本文研究了指令调优的LLM如何在残差流中结合角色和任务规范，发现在答案形成阶段，这种结合近似可加，使得替换时KL散度极小，但该可加机制并不能解释完整的多token生成过程。