arithmetic-reasoning

本文发现了一种‘位置复制’捷径：小型语言模型通过复制答案分隔符前的最后一个数字来回答算术问题，绕过了实际推理。该效应解释了为何打乱CoT步骤仍能保持性能；在GSM8K上，它占1-3B模型教师强制准确率的89-92%。