benchmark-leakage

本文介绍了NumLeak框架，用于检测基础模型在预训练中记忆公开数值基准而非展示样本外技能的情况，并表明顶级LLM能高保真地回忆起如Fama-French回报率等值，提出了一种简单的系统提示防御方法。