benchmark-artifacts

本文发现，在四组 7B SimpleRL 模型对中，所报告的 RLVR 在域外多项选择题上的性能提升，有 82% 是由仅识别 \\boxed{} 中答案的答案提取器造成的假象。这意味着，强化学习主要是教会模型将答案放入框中，而非真正提升其推理能力。

本文揭示了LLM幻觉检测领域报道的许多进展实际上源于基准构建伪影，其中真实答案被嵌入到提示中，使得简单的文本相似度基线方法能够获得近乎完美的分数。通过大规模受控评估，作者证明，在适当控制下，大多数方法的表现接近随机水平，除了对上层隐藏状态的监督探针（如SAPLMA）以及他们提出的DRIFT。