你的本地编码模型能修复这些边界情况的 bug 吗?Failure Map:20,168 个开源 Python 任务
摘要
Failure Map 是一个开放的代码库,包含 20,168 个精简的 Python 调试任务,涵盖 254 个类别,每个任务都附有契约说明、存在缺陷的实现以及可执行的边界检查,用于在代码修复方面对本地编码模型进行基准测试。作者提供了示例用例、标准化的提示词模板、程序基线以及评测指南,并指出目前尚未测量任何本地模型的得分。
相似文章
在编码评估中分离信号与噪声
OpenAI 对编码基准 SWE-Bench Pro 进行了审计,发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷,建议模型开发者仔细检查结果。
SWE-Race:基于 188 个真实并发 bug 的编程智能体基准,附三款模型结果 [P]
SWE-Race 是一个新的基准,收录了约 100 个 Python 项目中合并 PR 里的 188 个真实并发 bug(竞态条件、死锁、取消问题),在无网络容器中剥离 git 历史后,用项目自身的测试进行评分。结果显示 GLM-5.3 Flash(单次尝试 85%,带重试 82%)大致与 GPT-5.6 Luna(81%)持平,而模型之间的差异主要集中在难度较高的那一半任务上。
精准调试基准:你的模型在调试还是在重写?
# 论文页面 - 精准调试基准:你的模型在调试还是在重写? 来源:[https://huggingface.co/papers/2604.17338](https://huggingface.co/papers/2604.17338) ## 摘要 前沿大模型在测试通过率上表现优异,但在调试任务中的精准度却很低,暴露出功能正确与精准定位缺陷之间的鸿沟。与代码补全不同,调试需定位错误并做针对性修改。我们观察到,前沿大模型在调试时往往重写出正确却过度修改的代码。
我梳理了本地模型导致 JSON 输出失效的每一种情况并构建了修复库,以下是我在 288 次模型调用中的发现
一位开发者梳理了 288 次本地模型运行中的 JSON 输出失败案例,发现了如 Markdown 代码块包裹和尾随逗号等常见问题,并开发了 outputguard,这是一个采用 15 种策略修复无效 JSON 的 Python 库。
@_akhaliq: SWE-Bench ProMax——大规模多语言代码重构的智能体基准测试 论文:https://huggingface.co/papers/…
介绍了SWE-Bench ProMax,一个包含7种编程语言、170个实例的多语言代码重构基准,用于评估AI编程智能体。前沿模型仅达到41.2%的解决率,证实这是一个具有挑战性且尚未饱和的基准。