论文页 - TextReg：通过正则化文本空间优化缓解提示词分布外过拟合

来源：https://huggingface.co/papers/2605.21318

提示词会像机器学习模型一样过拟合吗？

提示词优化已成为提升 LLM 性能的强大范式。然而，我们观察到一个反复出现的现象：随着优化的进行，提示词往往变得越来越长，累积了越来越具体的指令，其泛化能力在训练分布之外却变得更差。

在本文中，我们将这种失效模式称为提示词分布外过拟合。

我们不将提示词视为任意的文本，而是将其视为任务知识的结构化表示，并提出一个根本性问题：

什么使得优化后的提示词具有泛化能力？

为回答这一问题，我们提出了表示效率低（representational inefficiency）这一视角，将提示词的过拟合归因于以下两个因素的耦合式增长：

🔹 容量成本 — 提示词变得不必要地冗长

🔹 范围狭窄 — 规则变得越来越具体，可复用性下降

基于这一洞察，我们提出了 TextReg，一个用于文本空间提示词优化的正则化框架，它结合了以下机制：

✅ 双证据梯度净化（Dual-Evidence Gradient Purification） ✅ 语义编辑正则化（Semantic Edit Regularization） ✅ 正则化引导的提示词更新（Regularization-Guided Prompt Update）

在多个推理基准和模型系列上，TextReg 一致地提升了分布外泛化性能，相比 TextGrad 最高提升 +11.8%，相比 REVOLVE 最高提升 +16.5%。

更广泛地说，我们希望这项工作有助于更好地理解提示词在优化过程中如何演变，以及正则化原理如何从参数空间扩展到文本空间。