harmful-continuation

本文研究了长思维链（CoT）训练轨迹中的一种有害现象，即结论后延续会降低训练效用，并提出了一种名为HarmfulContinuationCut（HCC）的诊断方法来检测此类有害延续。

本文识别了在LLM SFT的答案正确的长思维链训练轨迹中的有害延续，其特征为不确定性-几何不匹配，并提出了一种轻量级边界代理方法来去除它们。