FindStatBench：评估大语言模型在组合代码合成中的表现

arXiv:2607.18260v1 公告类型：新论文 摘要：我们提出了FindStatBench，一个用于评估大语言模型在组合代码合成任务上的执行基准测试。该基准测试基于FindStat构建，包含24个类别中的2,329个任务以及552万个隐藏实例，涵盖统计合成（将对象映射到整数）和映射合成（将对象映射到对象）。每个任务给出一个数学描述以及最多五个公开输入输出示例；模型必须输出一个Python solve函数，且不允许检索、工具使用、执行反馈、投票或重新排序。提交结果通过对保留的组合对象进行精确沙盒执行来评分。我们评估了11个系统：四个闭源生产模型和七个通过同一推理提供商服务的开源权重模型。FindStatBench揭示了三个主要模式。第一，最强的开源和闭源系统在实例准确率上相差在1个百分点以内，并且一个覆盖所有系统的Oracle以及从单个中档模型进行五次采样仅能带来有限的任务准确率提升。第二，示例可能产生负面影响：多个经典双射在零示例下完美解决，但在五个示例提示下反而失败。第三，一些失败反映了输出预算机制，因为推理可能在生成代码之前耗尽可见响应。总体而言，统计合成比映射合成容易得多，某些类别准确率接近零，长提示会导致准确率急剧下降，而精确的符号规则归纳仍然脆弱。

# FindStatBench：评估大型语言模型在组合代码合成中的表现
来源：https://arxiv.org/abs/2607.18260
文献工具

## 文献与引用工具

文献浏览器 切换

代码、数据、媒体

## 本文相关的代码、数据和媒体

演示

## 演示

相关论文

## 推荐与搜索工具

关于arXivLabs

## arXivLabs：与社区合作者共同进行的实验项目

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。

与arXivLabs合作的个人和组织都接受并认同我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。

有一个为arXiv社区增添价值的项目想法吗？**了解更多关于arXivLabs** (https://info.arxiv.org/labs/index.html)