你的本地编码模型能修复这些边界情况的 bug 吗?Failure Map:20,168 个开源 Python 任务

Reddit r/LocalLLaMA 论文

摘要

Failure Map 是一个开放的代码库,包含 20,168 个精简的 Python 调试任务,涵盖 254 个类别,每个任务都附有契约说明、存在缺陷的实现以及可执行的边界检查,用于在代码修复方面对本地编码模型进行基准测试。作者提供了示例用例、标准化的提示词模板、程序基线以及评测指南,并指出目前尚未测量任何本地模型的得分。

我是 Failure Map 的创建者,这是一个精简 Python 调试任务的代码库。此次开放发布包含 20,168 个任务,涵盖 254 个类别,附带标准库实现、明确的契约说明、失败的修复尝试以及可执行的边界检查。三个可以尝试的小用例: • 重复投递:对相同金额进行去重会丢失合法事件。 https://failuremap.org/cases/FA-001 • 缓存过期:减去一整个时间周期会导致仍然有效的条目被拒绝。 https://failuremap.org/cases/FA-006 • 分页:将 `>` 改为 `>=` 会使游标记录重复。 https://failuremap.org/cases/FA-011 提示词模板:"修复 solve 函数以满足所述契约。仅返回 Python 源代码。保持函数签名不变。契约:{prompt}。存在缺陷的实现:{broken_source}。" 已测量的程序基线(3 项检查中通过的数量,即 已损坏 / 修复尝试后):FA-001 为 2/3 / 1/3;FA-006 为 2/3 / 2/3;FA-011 为 2/3 / 1/3。这些是代码库所附程序的执行结果,并非模型得分。我目前还没有可声称的本地模型测量结果。 为了对不同运行结果进行比较,请报告准确的模型名称和版本、量化方式、提示词、采样设置、随机种子、每个任务的尝试次数以及通过数量。在隔离环境中运行候选代码,并将评测用例置于其控制范围之外。已记录检查的成功并不代表隐藏测试中的表现。 下载:https://failuremap.org/api/exports/tasks.jsonl.gz 方法论:https://failuremap.org/methodology
查看原文

相似文章

在编码评估中分离信号与噪声

Hacker News Top

OpenAI 对编码基准 SWE-Bench Pro 进行了审计,发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷,建议模型开发者仔细检查结果。

SWE-Race:基于 188 个真实并发 bug 的编程智能体基准,附三款模型结果 [P]

Reddit r/MachineLearning

SWE-Race 是一个新的基准,收录了约 100 个 Python 项目中合并 PR 里的 188 个真实并发 bug(竞态条件、死锁、取消问题),在无网络容器中剥离 git 历史后,用项目自身的测试进行评分。结果显示 GLM-5.3 Flash(单次尝试 85%,带重试 82%)大致与 GPT-5.6 Luna(81%)持平,而模型之间的差异主要集中在难度较高的那一半任务上。

精准调试基准:你的模型在调试还是在重写?

Hugging Face Daily Papers

# 论文页面 - 精准调试基准:你的模型在调试还是在重写? 来源:[https://huggingface.co/papers/2604.17338](https://huggingface.co/papers/2604.17338) ## 摘要 前沿大模型在测试通过率上表现优异,但在调试任务中的精准度却很低,暴露出功能正确与精准定位缺陷之间的鸿沟。与代码补全不同,调试需定位错误并做针对性修改。我们观察到,前沿大模型在调试时往往重写出正确却过度修改的代码。