论文页面 - ROSE: 一个意图为中心的NL2SQL评估指标

来源: https://huggingface.co/papers/2604.12988

摘要

ROSE是一个意图为中心的NL2SQL评估指标，使用Prover-Refuter级联来独立于参考SQL评估语义正确性，与人类专家有更好的一致性。

执行精度（EX）是评估自然语言到SQL（NL2SQL）解决方案效果的广泛使用的指标，但其可靠性正在下降。它对句法变化敏感，忽视了问题可能存在多种解释的事实，并且容易被错误的参考SQL误导。为了解决这个问题，我们引入了ROSE，一个意图为中心的指标，关注预测SQL是否回答了问题，而不是与参考范式下的参考SQL的一致性。ROSE采用对抗性的Prover-Refuter级联：SQL Prover独立评估预测SQL相对于用户意图的语义正确性，而对抗性Refuter使用参考SQL作为证据来质疑和细化这个判断。在我们专家对齐的验证集ROSE-VEC上，ROSE在Cohen’s Kappa方面实现了与人类专家的最佳一致性，相比次优指标性能提升近24%。我们还对19个NL2SQL方法进行了大规模重新评估，揭示了四个有价值的见解。我们发布了ROSE和ROSE-VEC以促进更可靠的NL2SQL研究。

查看arXiv页面 (https://arxiv.org/abs/2604.12988)查看PDF (https://arxiv.org/pdf/2604.12988)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.12988)

在你的agent中获取这篇论文：

hf papers read 2604.12988

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

没有模型链接到本论文

在模型README.md中引用arxiv.org/abs/2604.12988以从本页链接。

引用本论文的数据集 0

没有数据集链接到本论文

在数据集README.md中引用arxiv.org/abs/2604.12988以从本页链接。

引用本论文的Spaces 0

没有Space链接到本论文

在Space的README.md中引用arxiv.org/abs/2604.12988以从本页链接。

包含本论文的收藏 0

没有收藏包含本论文

添加本论文到收藏 (https://huggingface.co/new-collection) 以从本页链接。