EditSR：通过基于编辑的修正增强神经符号回归

# EditSR：基于编辑修正的神经符号回归增强 来源：https://arxiv.org/html/2606.07915 ###### 摘要 神经符号回归模型通过将结构搜索转移到预训练阶段来提升推理效率，但其单次自回归解码容易产生误差累积，尤其在复杂表达式生成场景中，可能导致生成结构不正确的表达式。现有的修正策略虽能缓解此问题，但往往依赖重启全局搜索，从而削弱了神经模型的效率优势，且仍易受误差累积影响。本文提出 EditSR，一个双层框架：第一层为神经符号回归模型，第二层为基于编辑的修正器（Rectifier），以实现高效预测与事后修正。我们并非重启全局搜索，而是通过预训练修正器来保持修正效率。具体而言，我们将修正过程形式化为从不正确表达式开始的逐步状态转移链，并开发了一种状态转移算法来构建监督修正链，用于训练修正器。为保证修正过程中的语法合法性，每次编辑动作被限制在语法有效的空间内，使得每次编辑后的表达式仍可解析。此外，由于每次编辑决策仅依赖于当前状态而非历史，修正器允许后续编辑修正前面步骤的错误，从而降低误差累积风险。大量实验和消融研究表明，EditSR 以有限的额外代价显著提升了符号结构的恢复效果，在复杂表达式上增益更为明显，因为此时单次自回归解码更易受误差累积影响。 ###### 关键词: 符号回归, 基于编辑的修正器, 模块化框架, 事后修正 \\affiliation \[label1\]organization=东北师范大学 前沿交叉研究院, city=长春, postcode=130024, state=吉林, country=中国\\affiliation\[label2\]organization=北京航空航天大学 人工智能研究院, city=北京, postcode=100191, state=北京, country=中国 \\affiliation \[label3\]organization=北京应用物理与计算数学研究所, city=北京, postcode=100094, state=北京, country=中国\\affiliation\[label4\]organization=计算物理国家重点实验室, city=北京, postcode=100088, state=北京, country=中国\\affiliation\[label5\]organization=华东师范大学 数学科学学院, city=上海, postcode=200241, state=上海, country=中国\\affiliation\[label6\]organization=上海张江数学研究院, city=上海, postcode=201203, state=上海, country=中国 ## 1 引言 符号回归旨在从稀疏且含噪声的观测数据集中，寻找能够将输入映射到输出的显式表达式。与传统的在固定函数族内优化参数的回归不同，符号回归同时搜索表达式结构和参数，从而提供更大的自由度。生成的表达式是可解析的，允许研究者检查对称性和不变性，进行微分和积分运算，并直接部署到模拟器和控制器中。凭借这些特性，符号回归被视为科学发现的强大工具[55 (https://arxiv.org/html/2606.07915#bib.bib41),64 (https://arxiv.org/html/2606.07915#bib.bib42)]。 经典的遗传编程方法通过种群进化进行符号回归，表达式以树的形式表示，并通过变异和交叉进行进化[25 (https://arxiv.org/html/2606.07915#bib.bib39),45 (https://arxiv.org/html/2606.07915#bib.bib40)]。过去几十年，基于遗传编程的模型通过复杂度控制[47 (https://arxiv.org/html/2606.07915#bib.bib18),48 (https://arxiv.org/html/2606.07915#bib.bib19)]、进化策略[37 (https://arxiv.org/html/2606.07915#bib.bib20),66 (https://arxiv.org/html/2606.07915#bib.bib16),43 (https://arxiv.org/html/2606.07915#bib.bib17)]和数值优化[23 (https://arxiv.org/html/2606.07915#bib.bib21),5 (https://arxiv.org/html/2606.07915#bib.bib22)]等方面的进步得到加强，帮助遗传编程在现代基准测试上保持竞争力[27 (https://arxiv.org/html/2606.07915#bib.bib43),9 (https://arxiv.org/html/2606.07915#bib.bib44)]。然而，由于搜索空间高度灵活且随表达式深度和算子集大小快速增长，基于遗传编程的模型长期以来面临效率挑战。 深度学习代表了符号回归的新范式[29 (https://arxiv.org/html/2606.07915#bib.bib15)]。一个代表性的基于深度学习的模型是 Equation Learner (EQL)，它将激活函数替换为基本算子，使得网络具有符号形式，从而实现可解释性和基于梯度的训练[38 (https://arxiv.org/html/2606.07915#bib.bib51)]。然而，这类模型通常受限于预定义的深度，限制了其灵活性。另一类基于深度学习的方法利用强化学习，将常数、算子和变量视为令牌，通过策略梯度更新引导表达式搜索[46 (https://arxiv.org/html/2606.07915#bib.bib53),44 (https://arxiv.org/html/2606.07915#bib.bib54)]。总体而言，通过引入可优化的智能体，基于深度学习的模型可以提高推理效率并降低对超参数的敏感性。此外，由于优化过程自然可以纳入结构约束，它们生成的表达式通常更简单。然而，这些模型仍需从头开始搜索，无法积累历史经验。因此，效率与性能之间的权衡依然存在。 另一条研究路线将大规模预训练引入符号回归，这受到机器翻译的启发。在此范式中，基于 Transformer 的架构在大量数据集-表达式对[29 (https://arxiv.org/html/2606.07915#bib.bib15),4 (https://arxiv.org/html/2606.07915#bib.bib35)]上进行训练，使得符号回归可以表述为将数据集直接映射到表达式的集合到序列任务[67 (https://arxiv.org/html/2606.07915#bib.bib56)]。因此，大量昂贵的符号结构探索被吸收到预训练中，推理简化为单次前向传播[19 (https://arxiv.org/html/2606.07915#bib.bib57),68 (https://arxiv.org/html/2606.07915#bib.bib58),30 (https://arxiv.org/html/2606.07915#bib.bib55)]。此外，通过在预训练中引入噪声，这些模型还对未见过的表达形式展现出强大的零样本泛化能力，并对含噪声数据集具有鲁棒性。 总之，符号回归的发展反映了在搜索能力和计算效率之间寻求平衡的持续努力。神经模型因此有潜力在搜索能力和计算效率之间提供实用的平衡。然而，它们的单次自回归解码范式常常受到误差累积的限制，从而阻碍其生成复杂表达式的能力。尽管事后修正策略可以缓解此问题，但它们通常会导致计算成本大幅增加，可能抵消预训练原先带来的速度优势[57 (https://arxiv.org/html/2606.07915#bib.bib59),42 (https://arxiv.org/html/2606.07915#bib.bib10)]。因此，我们研究一个轻量级的事后修正模块是否可以在不牺牲效率的情况下修正神经符号回归模型的错误预测。 近年来，基于编辑的生成模型在多个领域迅速发展。在自然语言生成中，Levenshtein Transformer[12 (https://arxiv.org/html/2606.07915#bib.bib78)]和 EDITOR[72 (https://arxiv.org/html/2606.07915#bib.bib79)]等模型用迭代插入、删除和局部重写取代了单次自回归解码，表明不完美的草稿可以在无需完全自回归重新生成的情况下高效改进。基于离散扩散的概念，后续研究进一步将生成过程本身建模为一系列多步编辑[52 (https://arxiv.org/html/2606.07915#bib.bib80),51 (https://arxiv.org/html/2606.07915#bib.bib32),13 (https://arxiv.org/html/2606.07915#bib.bib82)]。这些模型的一个关键优势是允许错误逐步修正，类似于进化搜索中的迭代精化。这一特性对符号回归特别有吸引力，因为许多表达式错误是局部的，而大量子表达式通常可复用，无需从头重新探索。此外，基于编辑的模型支持预训练，这对确保修正效率很重要。 为了实现高效的预测和修正，我们提出 EditSR，它包含两层。第一层是神经符号回归模型。我们将其实例化为 NeSymReS[4 (https://arxiv.org/html/2606.07915#bib.bib35)]，一个代表性架构。与其他单次自回归模型一样，NeSymReS 一旦早期错误扭曲了下游的语法上下文，就无法恢复。因此，我们在第二层引入一个修正器（Rectifier），对错误预测执行多步骤基于编辑的修正。修正器由一个标注器（Tagger）和编辑器（Editor）组成，标注器确定编辑位置和编辑动作，编辑器则预测对应的编辑内容。我们定义了编辑动作：保留（Keep）、替换（Replace）、删除（Delete）、重写（Rewrite）和插入（Insert），这些动作在子树层级而非令牌层级执行，使得编辑后的表达式仍保持语法有效。修正过程被组织为状态转移链，每个状态对应一个可解析的表达式，每个状态转移通过执行单个编辑动作实现。我们通过随机损坏目标表达式来生成一组具有不同错误模式的表达式作为初始状态（受广泛研究的离散扩散模型[2 (https://arxiv.org/html/2606.07915#bib.bib28),51 (https://arxiv.org/html/2606.07915#bib.bib32),35 (https://arxiv.org/html/2606.07915#bib.bib30)]启发），然后使用状态转移算法将它们映射回目标表达式，从而获得监督修正链。修正器在这些单步转移上进行训练，使其接触到各种错误模式。在推理过程中，每个决策基于当前状态而非历史做出，这有助于缓解误差累积，并为后续编辑修复早期错误留有余地。 我们的主要贡献总结如下： - 1. 我们从误差累积的角度重新审视神经符号回归模型，并考察是否可以通过少量编辑来修正错误预测，而不是重启全局搜索。 - 2. 我们提出 EditSR，一个双层框架，第一层为神经符号回归模型，第二层为修正器。EditSR 提供了一种新颖的预测-修正机制，既保留了神经模型的推理效率，又通过语法约束的事后编辑修正结构错误的表达式，而无需重新打开全局搜索过程。 - 3. 我们将修正表示为迭代状态转移过程，每个状态对应一个可解析的表达式，每个状态转移通过执行单个编辑动作实现。在我们的设定中，修正器的每次修正决策基于当前状态而非历史，从而抑制误差累积，同时允许后续编辑修正前面步骤的错误。 - 4. 通过在主流基准测试上的广泛评估和消融研究，我们表明修正器对长表达式生成有益，因为此时单次自回归解码更易受误差累积影响。此外，修正器提升了符号结构的恢复效果，因为其修正目标始终指向目标表达式，而非仅仅满足数值误差阈值。 论文的剩余部分组织如下。第2节 (https://arxiv.org/html/2606.07915#S2)介绍所提框架的动机，第3节 (https://arxiv.org/html/2606.07915#S3)回顾相关工作。第4节 (https://arxiv.org/html/2606.07915#S4)介绍 EditSR 架构，第5节 (https://arxiv.org/html/2606.07915#S5)描述数据生成过程。第6节 (https://arxiv.org/html/2606.07915#S6)和第7节 (https://arxiv.org/html/2606.07915#S7)报告实证评估。最后，第8节 (https://arxiv.org/html/2606.07915#S8)总结我们的工作。 ## 2 动机 近年来，神经符号回归模型因其在预训练阶段分摊大量结构搜索、将推理简化为单次前向传播而备受青睐。然而，它们的缺点在于教师强制训练与自由运行推理之间的不匹配。早期错误随后通过后续的自回归解码步骤传播，且无法自行修正。在符号回归中，这个问题尤其代价高昂，因为生成的表达式表示一个具有严格元数约束的树。一旦早期算子或子树出错，后续内容就不再在预期的语法上下文中生成。因此，主要的错误模式往往是结构性的而非词汇性的。这一差异可以通过对比符号回归与自然语言生成来理解。在后者的场景中，早期偏离参考句子并不一定使输出的其余部分无效，因为多种延续方式仍可能保留预期含义。例如，句子“能量既不能被创造也不能被消灭；它只能从一种形式转化为另一种形式”也可以表达为“能量不是被创造或消灭的；它只能在不同形式之间转化”。尽管措辞从一开始就有所偏离，但后续文本在语义上仍然是正确的。相比之下，在符号回归中，早期错误可能改变所需的树扩展方式。如图1 (https://arxiv.org/html/2606.07915#S2.F1)所示，如果目标表达式为\(x_1+x_2\)·sin\((x_3)\)，但单目算子 sin 被错误生成为双目算子如 +，那么后续令牌将不再按照预期的元数模式和语法上下文进行解释。结果，一个局部错误可能迅速级联成全局结构偏差。 参考图注 图1：自回归解码下，生成错误令牌后两种可能的结果。如果目标表达式为\(x_1+x_2\)·sin\((x_3)\)，那么一旦单目算子 sin 被错误生成为双目算子 +（红色高亮），模型要么使树结构不正确（左侧虚线框），要么被迫用不相关的子树关闭错误分支（右侧虚线框）。