LSR-Synth 中的库可达性：反记忆化设计如何改变符号发现的度量

# 反记忆化设计如何改变符号发现的度量
来源：https://arxiv.org/html/2607.28684
## LSR-Synth 中的库可达性：反记忆化设计如何改变符号发现的度量

Liang Yin，Zhihao Gao，Boxuan Zhang，Xiaoyu Wu，Linjing Li，Rongyan Wang，Tingwei Chen，Youwei Wang，Xiaolin Zhao，Jiahui Shi，Jianjun Liu

###### 摘要

现有的科学方程发现基准大多由公开领域中广为人知的方程组成，因此很难判断一个模型是从数据中发现了规律，还是仅仅从训练语料中回忆出答案。LSR-Synth 通过将新的合成项引入既有的科学机制，并对生成的任务进行新颖性、可解性和科学合理性过滤，缓解了这一问题。本文考察一个更具体的度量问题：这些任务能否进一步区分语言模型提供的科学先验与不访问任务语义的常规算子搜索？我们使用一个来源公开可查的固定词表构建无语义基线，并通过语义遮蔽、词表弱化和匹配算子族敲除来评估候选覆盖的作用。在当前任务快照、搜索预算和评分协议下，固定词表已经覆盖了大多数任务，而语言模型生成的候选很少能扩大可解实例的集合。只有在词表覆盖被选择性破坏时，它们的边际贡献才会变得显著。严格的分布外评估会降低所有方法的绝对成功率，但不会改变这一关系。这些发现既不会否定 LSR-Synth 对完整公式记忆化的控制，也不意味着语言模型先验普遍无用。相反，它们支持一个更有限的结论：大多数当前任务仍然适合评估对未见过的表达式的拟合与重组，但单独而言不足以识别固定搜索空间之外的先验贡献。

符号回归、科学发现、大型语言模型、基准评测、记忆化

## 1 引言

当大型语言模型被应用于符号回归时，一个直接的评测担忧是测试方程可能已经出现在模型的训练语料中。传统符号回归主要根据数值误差和表达式复杂度来评估候选表达式（La Cava 等人，2021 (https://arxiv.org/html/2607.28684#bib.bib1)），而语言模型也可能直接从变量名、问题描述和先验科学知识中回忆出公式。来自 Feynman 等广泛使用数据集中的方程及其随附解释，在公开文本中大量存在（Udrescu 和 Tegmark，2020 (https://arxiv.org/html/2607.28684#bib.bib3)；Shojaee 等人，2025c (https://arxiv.org/html/2607.28684#bib.bib4)）。因此，当模型生成正确表达式时，它可能从数据中推断出了潜在关系，也可能只是识别出问题并重现了已知答案；仅凭最终精度无法区分这两种可能（McCoy 等人，2019 (https://arxiv.org/html/