标签
本文描述了一种带有可验证奖励的强化学习方法，用于微调AI模型以进行text-to-SQL任务，在BIRD基准上达到了无需辅助结构的人类水平准确率。
本文介绍了DataKernelBench，这是一个用于评估LLMs在优化GPU内核以处理数据库查询方面的基准测试，相比如torch.compile等基线方法实现了加速。
QO-Bench 是一个针对类型化事件元组上查询算子问答的诊断性基准测试，涵盖 22,984 篇新闻文章和 614 个企业事件，涉及 18 种查询模板。该基准对 RAG、ReAct RAG、GraphRAG 以及抽取转 SQL 系统进行评估，发现算子执行——而非仅仅是检索——才是核心瓶颈，单纯使用更强的模型并不能解决这一问题。