post-hoc-repair

提出了一种名为GuardedRepair的框架，用于对LLM数学推理进行事后替换，通过选择性替换和安全防护来修复错误，同时最小化对正确推理轨迹的损害。在GSM8K上，该方法在未破坏正确答案的情况下，将准确率从95.60%提升至96.89%。

本文提出DG-Hard，一种事后谱修复方法，仅使用预训练和微调检查点，即可恢复因微调而受损的能力，无需重新训练。该方法将Donoho-Gavish硬奇异值阈值应用于权重更新，去除噪声并恢复退化的性能。