CoSPlay：测试时基于自生成代码和单元测试的协作式自博弈

Hugging Face Daily Papers 论文
self-play code-generation unit-test test-time-scaling rlvr llm

摘要

CoSPlay 是一个免训练框架，通过协作式自博弈同时提升代码生成与单元测试质量，在无需真实单元测试的情况下达到了具有竞争力的性能。

近期，基于可验证奖励的强化学习（RLVR）和测试时扩展（TTS）通过可执行验证推动了LLM代码生成的发展。然而，真实单元测试（GT UTs）仍是瓶颈：最先进的RLVR方法在昂贵训练中需要它们，而现有TTS方法在没有GT时竞争力下降。这推动了无GT TTS的研究，现有方法直接使用自生成UT来优化和选择代码候选。然而，此类UT往往包含噪声或与错误代码虚假耦合，且没有可靠代码又无法验证UT质量。因此，关键挑战在于同时改进两者。为此，我们提出CoSPlay，一个无GT、免训练框架，通过协作式自博弈同时改进代码和UT。它首先探索多样化的解题思路，识别其潜在故障模式以生成有区分度的UT思路。然后利用代码-UT执行矩阵中的双向通过计数信号，迭代地剪枝或修复弱代码，刷新或替换不可靠的UT，使两个池共同进化。最后，当多个代码在最高通过计数上并列时，从最大输出共识簇中选择最终代码，因为正确代码在相同输入上一致，而错误代码分歧。在四个具有挑战性的基准测试上的实验表明，在Qwen2.5-7B-Instruct上，CoSPlay将平均BoN从22.1%提升至33.2%，UT准确率从14.6%提升至78.3%，匹配或超越了RLVR模型CURE-7B。当应用于CURE-7B时，BoN进一步提升了5.7%。CoSPlay还能在多种骨干模型上泛化，在可比token预算下优于无GT TTS基线，且随着预算增加持续获益。这些结果表明，无需任何GT数据即可实现具有竞争力的代码生成的可扩展推理策略。
查看原文
查看缓存全文

缓存时间: 2026/05/26 18:45

论文页面 - CoSPlay：利用自生成代码与单元测试在测试时进行协同自博弈

来源：https://huggingface.co/papers/2605.23491

摘要

CoSPlay 是一种无 GT 框架，通过协同自博弈联合提升代码生成与单元测试质量，无需地面真值单元测试即可实现具有竞争力的性能。

近年来，基于可验证奖励的强化学习 (https://huggingface.co/papers?q=Reinforcement%20Learning%20with%20Verifiable%20Rewards) (RLVR) 和测试时扩展 (https://huggingface.co/papers?q=Test-Time%20Scaling) (TTS) 通过可执行验证推动了 LLM 代码生成 (https://huggingface.co/papers?q=code%20generation) 的发展。然而，地面真值单元测试 (https://huggingface.co/papers?q=Ground-Truth%20Unit%20Tests) (GT UT) 仍然是一个瓶颈：最先进的 RLVR 方法需要它们进行昂贵的训练，而现有的 TTS 方法在没有它们时会失去竞争力。这催生了无 GT 的 TTS，现有方法直接使用自生成的 UT 来改进和选择代码候选。然而，这类 UT 常常带有噪声，或与错误代码虚假耦合，而 UT 质量在没有可靠代码的情况下也无法得到验证。因此关键挑战在于如何同时提升两者。为此，我们提出了 CoSPlay，一个无 GT、无需训练的框架，通过协同自博弈 (https://huggingface.co/papers?q=cooperative%20self-play) 联合改进代码和 UT。它首先探索多样化的解决方案思路，识别其潜在的失败模式，从而产生具有区分性的 UT 思路。然后，利用代码-UT 执行矩阵中的双向通过计数信号 (https://huggingface.co/papers?q=bidirectional%20pass-count%20signals)，迭代地修剪或修复弱代码，刷新或替换不可靠的 UT，使两个池共同演化。最后，当多个代码在最高通过计数上并列时，它从最大的输出共识簇 (https://huggingface.co/papers?q=output-consensus%20cluster) 中选取最终代码，因为正确代码在同一输入上达成一致，而错误代码则产生分歧。在四个具有挑战性的基准上的实验表明，基于 Qwen2.5-7B-Instruct (https://huggingface.co/papers?q=Qwen2.5-7B-Instruct) 的 CoSPlay 将平均 BoN 从 22.1% 提升至 33.2%，UT 准确率从 14.6% 提升至 78.3%，与 RLVR 模型 CURE-7B (https://huggingface.co/papers?q=CURE-7B) 相当甚至超越。当应用于 CURE-7B (https://huggingface.co/papers?q=CURE-7B) 时，BoN 进一步提升 5.7%。CoSPlay 还能泛化到多种不同的骨干模型，在可比的 token 预算下优于无 GT 的 TTS 基线，并且随着预算增加持续获得收益。这些结果表明了一种无需任何 GT 数据即可实现具有竞争力的代码生成 (https://huggingface.co/papers?q=code%20generation) 的可扩展推理策略。

查看 arXiv 页面 (https://arxiv.org/abs/2605.23491) 查看 PDF (https://arxiv.org/pdf/2605.23491) GitHub0 (https://github.com/sanae-ai/cosplay) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.23491)

引用本论文的模型0

没有模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2605.23491 以从此页面链接。

引用本论文的数据集0

没有数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2605.23491 以从此页面链接。

引用本论文的 Spaces0

没有 Space 链接本论文

在 Space README.md 中引用 arxiv.org/abs/2605.23491 以从此页面链接。

包含本论文的集合0

没有集合包含本论文

将本论文添加到一个集合 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

竞争性自我对弈

OpenAI Blog

OpenAI 证明在模拟 3D 机器人环境中进行竞争性自我对弈，能够使 AI 智能体在没有明确指导的情况下发现复杂的物理行为，如铲球、躲闪和虚晃等，表明自我对弈将成为未来强大 AI 系统的基础。

CodeAlchemy：大规模合成代码重写

arXiv cs.CL

CodeAlchemy 是一个合成数据生成框架，通过五种策略将公开可用的代码转换为语义丰富的训练数据，生成超过5000亿个 token，使得小型模型在代码基准测试上超越大得多的模型。