NumLeak: 公开数值基准作为基础模型中的潜在标签

# Public Numeric Benchmarks as Latent Labels in Foundation Models Source: https://arxiv.org/html/2605.30393 ###### 摘要 公共数值基准出现在预训练数据中，因此基于日期的评估可能衡量的是记忆性回忆，而非样本外能力。我们提出 NumLeak，一个结合了生产模型 API 边界探测与开源因果 LM 白盒受控验证的测量框架。顶级前沿大语言模型在 3 种子池化下，回忆 Fama–French 市场超额收益的 Pearson r=0.97–0.99，同时五个兄弟因子保持在 25 个基点以内；在美国失业率、CPI 通胀和 NOAA 温度上观察到可比保真度。在近期发布的数据保留集上，解析率骤降至 21–57%，但在已回答的月份中 r 保持 ≈0.99，这种拒绝-回忆不对称性由记忆通道预测。白盒实验复现了剂量-响应关系，对数概率排名能检测到开放生成所遗漏的记忆，这意味着封闭 API 黑盒探测低估了该通道。Sonnet 的“日期→市场情绪”回归与真实 Mkt-RF 相关性 r=0.74，一旦将模型自身的回忆残差化后，r 降至 0.02。一行系统提示防御在概念性和历史叙事查询上以近乎零效用成本阻止了 99.8% 的非自适应单轮后缀攻击。记忆，大型语言模型，金融基准，Fama-French 因子，可信人工智能 ## 1 引言 公共基准数据集（金融因子收益、宏观经济发布、气候记录）在网上广泛镜像，因此很可能出现在基础模型预训练中。如果一个模型仅凭日期和序列名称就能恢复其历史值，那么依赖这些日期的评估可能衡量的是对记忆基准值的回忆，而非样本外技能。这是一种与先前工作研究的逐字文本提取不同的回忆表面（Carlini et al., 2021 (https://arxiv.org/html/2605.30393#bib.bib14), 2023 (https://arxiv.org/html/2605.30393#bib.bib15); Tirumala et al., 2022 (https://arxiv.org/html/2605.30393#bib.bib16); Hans et al., 2024 (https://arxiv.org/html/2605.30393#bib.bib17); Liang et al., 2025 (https://arxiv.org/html/2605.30393#bib.bib13); Kasliwal et al., 2025 (https://arxiv.org/html/2605.30393#bib.bib18)）：目标是连续的日期索引数值序列，而非字符串片段。在生产基础模型中诊断这一表面是困难的。封闭模型 API 不返回词元级概率，因此标准的成员推断工具包（通过检查模型对该字符串的内部概率来询问“这个确切字符串是否出现在训练中？”）不可用。将记忆性回忆与通用数值流畅性或新闻衍生知识区分开来需要同时进行三种控制：**同一家族相似系列内的选择性**、**对“不支持”标签的行为**，以及**数值回忆与比较推理的解耦**。单一领域研究通常最多提供其中一个。封闭模型端点也随时间漂移，因此观察证据自然不可复现。关于 LLM 金融前瞻偏差和基准泄漏的文献（Lopez-Lira et al., 2025 (https://arxiv.org/html/2605.30393#bib.bib6); Li et al., 2025 (https://arxiv.org/html/2605.30393#bib.bib10); Benhenda, 2026 (https://arxiv.org/html/2605.30393#bib.bib11); Crane et al., 2025 (https://arxiv.org/html/2605.30393#bib.bib8); Didisheim et al., 2025 (https://arxiv.org/html/2605.30393#bib.bib9); Sarkar and Vafa, 2024 (https://arxiv.org/html/2605.30393#bib.bib12)）指出了这一担忧，但未确定通道。 researcher(LLM-based factor strategy)LLMMkt-RFcachedalpha-positivebacktestpartlymemorizationpromptrecallsvalues图 1：回忆通道。以日期为条件的数值查询可能返回记忆的历史值，污染下游 LLM 金融信号。NumLeak 诊断并缓解该通道。我们提出 NumLeak，一个包含三部分的测量框架。* **第一**，一个包含四个诊断指标的识别协议（正式定义见 §2 (https://arxiv.org/html/2605.30393#S2)），通过模型在 API 中暴露的内容来表征回忆通道；我们将其应用于 Fama–French 因子库（Fama and French, 1992 (https://arxiv.org/html/2605.30393#bib.bib1), 1993 (https://arxiv.org/html/2605.30393#bib.bib2), 2015 (https://arxiv.org/html/2605.30393#bib.bib3); Carhart, 1997 (https://arxiv.org/html/2605.30393#bib.bib4)）作为高风险案例研究，然后在宏观经济和气候序列上复现。* **第二**，一个受控验证：我们在四个暴露水平下对 Qwen-2.5-1.5B 进行 LoRA 微调，使用合成日期索引值，并使用标准文本生成和直接对数概率检查进行探测。* **第三**，对四种系统提示防御在六种对抗性用户提示下的压力测试，衡量最坏情况下的隐私和每个类别的效用成本。 §2 (https://arxiv.org/html/2605.30393#S2) 形式化协议； §3 (https://arxiv.org/html/2605.30393#S3)–§5 (https://arxiv.org/html/2605.30393#S5) 报告跨领域回忆、白盒验证和缓解压力测试； §6 (https://arxiv.org/html/2605.30393#S6) 讨论下游污染和局限性。 ## 2 方法 每个查询标识一个公共数值序列和一个日期（例如，“Fama–French Mkt-RF 因子 2020 年 3 月”），解析器将模型的回复映射为一个数字或一次拒绝。NumLeak^{1} 1代码：https://github.com/akotawala10/NumLeak_ICML2026。 在许多这样的查询中，衡量这些解析数字与已发布真实值的接近程度。分析单位是模型在其 API 中暴露的内容，而非其内部训练集成员关系。形式上：设 x_{t}^{(j)} 为序列 j 在日期 t 的公共值，\hat{x}_{t}^{(j)} 为解析后的数值输出，我们报告 \hat{x}_{t}^{(j)} 相对于 x_{t}^{(j)} 在整个面板上的保真度。实验单位是元组 (model, series, month, prompt variant)。主序列为 Fama–French Mkt-RF（月度市场超额收益）；族内对比为 SMB、HML、RMW、CMA 和 Mom（Fama and French, 1992 (https://arxiv.org/html/2605.30393#bib.bib1), 1993 (https://arxiv.org/html/2605.30393#bib.bib2), 2015 (https://arxiv.org/html/2605.30393#bib.bib3); Carhart, 1997 (https://arxiv.org/html/2605.30393#bib.bib4)）。真实值为 Kenneth French 数据图书馆（French, 2026 (https://arxiv.org/html/2605.30393#bib.bib5)）。查询不使用任何外部上下文（无工具、检索、附件），在支持时温度为 0。我们使用四个诊断指标来识别记忆，外加解析率作为独立的拒绝指标。 Pearson 相关系数 r 与已发布真实值的相关性捕捉形状（即使数值尺度有偏差，知道方向的模型也能获得高 r）。平均绝对误差（MAE）以百分点为单位，捕捉绝对保真度。**25 个基点以内**精度（一个基点为 0.01 个百分点；25 bps 是*四舍五入*记忆值应达到的精度带）捕捉近似流畅性无法产生的精确值命中。符号精度捕捉方向性成分，通用的“股票通常上涨”先验也会达到这一点。解析率（返回数值答案而非拒绝的查询比例）与四个指标一同报告，但跟踪拒绝策略，而非记忆。 #### 联合签名 vs. 原始精度。单一的“模型是否发出了一个合理数字”精度会混淆记忆和流畅性：GPT-5.4 在 96.7% 的虚构因子提示上承诺了一个合理数字（App.K (https://arxiv.org/html/2605.30393#A11)），而原始精度指标会将这些与 Mkt-RF 同等评分。四个指标的联合签名区分了这些状态。记忆同时在所有四个指标上获得高分（Opus Mkt-RF：符号 0.97，r=0.99，MAE 0.29 pp，25 bps 以内 0.60）；校准后的流畅性基线达到高符号和中等 r，但 MAE 和 25 bps 以内失败；虚构基线除符号和解析率外全部失败。没有单一指标能区分三种状态；它们的联合值可以。 #### 在已知暴露下的验证。该诊断由 §4 (https://arxiv.org/html/2605.30393#S4) 中受控的 LoRA 实验验证，其中仅当模型在日期索引数值上训练时才出现相同的四个指标签名。这解决了封闭模型指标可能衡量通用能力而非回忆的问题。作为*保留*对比，我们在 2025–2026 年 Mkt-RF 的 14 个月上重新运行相同的 Variant-A 模板，这些月份位于合理训练数据边界附近（App.I (https://arxiv.org/html/2605.30393#A9)）；历史与近期发布解析率对比检验了回忆是否受限于训练数据可用性。 NumLeak 识别协议结合了四个诊断（详细流程见 App.A (https://arxiv.org/html/2605.30393#A1)）： (i) **因子特异性**对比 Mkt-RF 与其他 Fama–French 因子以及因子随机洗牌零假设； (ii) **时间控制**按模型截止日期和著名市场月份分层； (iii) **虚构探测**用相同查询形式下的不支持或虚构系列名称替换基准； (iv) **排名/数值探测**比较直接数值回忆与两个月排名任务。确切的提示模板、解析器逻辑、采样、重试行为、截止定义、Wilson/自助法间隔、多种子检查和完整出处见 Apps.O (https://arxiv.org/html/2605.30393#A15)–P (https://arxiv.org/html/2605.30393#A16)。 ## 3 跨领域基准回忆 表 1：整个面板上的选择性 Mkt-RF 回忆。所有行均为 3 种子池化（40 个月 × 3 种子 × Variant A，解析后 n=117–120；App.E (https://arxiv.org/html/2605.30393#A5)）。单种子 Variant-A 基线供参考：Opus r=0.99，Sonnet r=0.98，Haiku r=0.68，GPT-5.4 r=0.70。每个模型的最佳非 Mkt-RF 因子以及完整的 9×6 网格见 App.C (https://arxiv.org/html/2605.30393#A3)。参照图注图 2：Mkt-RF 值回忆经过校准。Opus 和 Sonnet 与 45° 线对齐；GPT-5.4 较弱。散点图显示单种子 Variant-A 基线（图中 n 和 r 为每种子值；Tab.1 (https://arxiv.org/html/2605.30393#S3.T1) 报告 3 种子池化值，与此一致）。Haiku 4.5 被排除，因为其池化 r=0.57 反映了高种子间方差（每种子范围 0.24–0.74，App.E (https://arxiv.org/html/2605.30393#A5)），单种子散点图无法代表整体。非 Mkt-RF 校准：App.B (https://arxiv.org/html/2605.30393#A2)。 #### 能力缩放与跨领域扩展。Mkt-RF 回忆在**每个提供商内部**随能力单调减弱。Anthropic：Opus 4.7 池化 r=0.99，Sonnet 4.6 为 0.97，Haiku 4.5 为 0.57。OpenAI：GPT-5.4 池化 0.94，单种子 mini 0.65 和 nano -0.32（Tab.1 (https://arxiv.org/html/2605.30393#S3.T1)；Apps.C (https://arxiv.org/html/2605.30393#A3), D (https://arxiv.org/html/2605.30393#A4), E (https://arxiv.org/html/2605.30393#A5)）。顶级结果经过校准，而不仅仅是相关：模型估计值对真实值的回归线斜率 ≈1（单种子 Opus 斜率 0.952，MAE 0.294 pp；Sonnet 斜率 1.008，MAE 0.765 pp）。包含 4 个模型 3 种子的扩展（App.E (https://arxiv.org/html/2605.30393#A5)）确认单种子顶级数字未被放大。该通道超出 Fama–French 具有泛化性。在同一提示模板中替换其他广泛市场标签，Opus 回忆 S&P 500 / NASDAQ / 盲“美国广泛市场超额”查询时 r=1.000/0.972/0.954，Sonnet 为 0.97/0.81/0.92，GPT-5.4 为 0.91/0.71/0.77。在金融之外，Sonnet 和 Opus 在美国失业率和 CPI 通胀上达到 r≥0.995（Apps.F (https://arxiv.org/html/2605.30393#A6), G (https://arxiv.org/html/2605.30393#A7)），在 NOAA 月度温度上具有可比保真度（App.H (https://arxiv.org/html/2605.30393#A8)）。该现象定位在“公共数值序列”层面，而非单一领域。 #### 指纹 vs. 逐字提取。四个签名将 NumLeak 回忆与通用数值流畅性或 Carlini 式逐字提取区分开（Carlini et al., 2021 (https://arxiv.org/html/2605.30393#bib.bib14)）。 *(i) 因子选择性。*每个非 Mkt-RF 单元格的 25 bps 精度保持在 ≤15%；因子随机洗牌零假设比观察到的 Sonnet × Mkt-RF 回忆低约 19 倍（App.C (https://arxiv.org/html/2605.30393#A3)）。通用流畅性不会从同一库中挑出一个因子。 *(ii) 排名/数值解耦。*目标是日期索引数值，而非字符串片段：NumLeak 暴露数值，但不支持可靠的成对排名接口（Sonnet × Mkt-RF 在数值 r=0.98 时的双月排名准确率为 52.5%；App.J (https://arxiv.org/html/2605.30393#A10)）。逐字提取会预测排名继承数值精度。 *(iii) 提供商级别的虚构区分。*在格式相同的虚构因子提示上，三个 Anthropic 模型拒绝 180/180，而跨越其他三个提供商的五个非 Anthropic 模型在 295/300 上承诺答案（App.K (https://arxiv.org/html/2605.30393#A11)）。这种区分沿着提供商线，而非能力线：GPT-5.4-nano 在 100% 的虚构因子上承诺答案，尽管 Mkt-RF r=-0.32。我们将其解读为提供商级别的拒绝策略，这也是一个可防御的数值回忆 API 与一个无法区分地虚构的 API 之间的区别。 *(iv) 集中输出，近期发布拒绝。*当 GPT-5.4 回答 Mkt-RF 查询时，其输出词元的几乎所有概率质量都集中在单一值上：前两个词元的平均熵为 0.21 比特，而当它回答低回忆因子（RMW）时为 0.78 比特，回答虚构因子名称时为 1.14 比特（App.R (https://arxiv.org/html/2605.30393#A18)）。模型承诺于一个特定数字，在合理替代方案上分布非常窄。在 2025–2026 年近期保留数据上（§2 (https://arxiv.org/html/2605.30393#S2)），Opus/Sonnet 的解析率骤降至 0.57/0.21，而在它们回答的月份中 r 保持接近 0.99（App.I (https://arxiv.org/html/2605.30393#A9)）。当模型遇到训练数据边界时，我们看到的是拒绝，而我们没有看到的是虚构的猜测。 ## 4 白盒受控验证 第 3 节从行为签名中推断出封闭生产模型中的回忆通道。对序列进行微调会产生记忆并不令人惊讶；可证伪的主张是，我们用作诊断的*相同*签名也在受控暴露下出现：对真实值的尖锐峰值输出分布、当模型犯错时与相邻月份值的混淆、对从未见过的标签的拒绝（而非虚构），以及暴露次数与结果的清晰剂量-响应关系。我们在 Qwen-2.5-1.5B-Instruct 上进行测试，这是我们能够干预的唯一开放模型（完整协议：App.T (https://arxiv.org/html/2605.30393#A20)）。我们构建一个合成月度序列，*Synthetic Market Residual A*（SMR-A）：480 个高斯值