标签
Failure Map 是一个开放的代码库，包含 20,168 个精简的 Python 调试任务，涵盖 254 个类别，每个任务都附有契约说明、存在缺陷的实现以及可执行的边界检查，用于在代码修复方面对本地编码模型进行基准测试。作者提供了示例用例、标准化的提示词模板、程序基线以及评测指南，并指出目前尚未测量任何本地模型的得分。