positional-bias

本文发现了一种‘位置复制’捷径：小型语言模型通过复制答案分隔符前的最后一个数字来回答算术问题，绕过了实际推理。该效应解释了为何打乱CoT步骤仍能保持性能；在GSM8K上，它占1-3B模型教师强制准确率的89-92%。

SDSR 提出轻量级自描述结构化数据，并辅以双层引导，利用 LLM 的首位偏差，在无向量数据库的情况下实现 100% 路由准确率。