使用结果奖励模型进行Text-to-SQL的测试时验证

# 测试时验证：通过结果奖励模型实现Text-to-SQL
来源: https://arxiv.org/abs/2606.30851
查看 PDF (https://arxiv.org/pdf/2606.30851)

> 摘要:提高大型语言模型（LLMs）在推理时的可靠性，是Text-to-SQL等结构化推理任务中的核心挑战。常见的测试时推理策略，包括Best-of-N采样和多数投票法，依赖执行成功或输出频率等启发式信号，这些信号在候选输出之间提供的语义区分能力有限。在本工作中，我们研究了结果奖励模型（ORMs）作为Text-to-SQL测试时验证的语义评分函数。虽然ORMs此前已在测试时扩展和对齐方面得到探索，但它们应用于结构化查询生成仍研究不足。我们提出了GradeSQL，一个可扩展的框架，通过自动生成候选和执行标签来训练特定任务的ORMs，从而无需手动标注即可训练验证器。我们将ORMs集成到基于验证的Best-of-N流水线中，并在BIRD和Spider基准上评估了多个开源LLM系列。基于ORM的选择始终优于基于执行的Best-of-N和多数投票法，在BIRD上提升高达+4.33%，在Spider上提升高达+2.10%。我们进一步表明，ORMs在更大的候选集上能有效扩展，并在复杂查询上带来更强的改进。总体而言，我们的结果证明，基于ORM的验证为Text-to-SQL提供了一种简单、有效且可扩展的替代方案，可替代启发式的测试时选择策略。代码、数据集和模型均已公开。

## 提交历史

来自: Gaetano Rossiello [查看电子邮件 (https://arxiv.org/show-email/f1527b76/2606.30851)] **\[v1\]**2026年6月29日星期一 19:31:39 UTC (263 KB)