大型语言模型在浮点错误分类上的基准测试

arXiv cs.AI 论文
floating-point error-classification benchmark llm-evaluation software-engineering numerical-errors static-analysis

摘要

本文介绍了InterFLOPBench，这是一个用于评估LLM在C代码中检测浮点错误的基准测试，发现最近的模型取得了较高的F1分数，但性能因错误类型而异。

arXiv:2606.31308v1 公告类型：新 摘要：本文研究了大型语言模型（LLM）在软件代码中静态检测和分类浮点错误的能力。我们引入了InterFLOPBench，这是一个包含90个C语言内核和1130个测试样本的基准测试，旨在评估LLM在六类浮点错误（约减、比较、除零、溢出、下溢和NaN）上的表现，比较了14个LLM。评估框架将浮点错误检测视为多标签分类问题，并采用F1分数指标来衡量性能。结果表明，最新模型（Qwen 3 32b、Gemini 2.5 Flash、Phi 4 Reasoning、DeepSeek R1T2以及gpt-oss 20b和120b）总体F1分数超过0.88。性能因错误类别而异，在显式操作如除零（平均F1分数：0.8479）与更微妙的数值现象如下溢（平均F1分数：0.6059）和约减（平均F1分数：0.6164）之间有所不同。
查看原文
查看缓存全文

缓存时间: 2026/07/01 05:37 

# 大语言模型在浮点错误分类上的基准测试
来源：https://arxiv.org/abs/2606.31308
查看PDF (https://arxiv.org/pdf/2606.31308)

> 摘要：本文研究了大语言模型（LLMs）在软件代码中静态检测和分类浮点错误的能力。我们引入了InterFLOPBench，这是一个包含90个C语言核心和1130个测试样本的基准测试，旨在评估LLMs在六类浮点错误（对消、比较、除以零、溢出、下溢和NaN）上的表现，并与14个LLMs进行了比较。评估框架将浮点错误检测视为多标签分类问题，并使用F1分数指标衡量性能。结果表明，最新模型（Qwen 3 32b、Gemini 2.5 Flash、Phi 4 Reasoning、DeepSeek R1T2，以及gpt-oss 20b和120b）的整体F1分数超过0.88。不同错误类别之间的性能存在差异，从显式操作（如除以零，平均F1分数：0.8479）到更微妙的数值现象（如下溢，平均F1分数：0.6059；对消，平均F1分数：0.6164）。

## 提交历史

来自：Lisa Taldir \[查看邮件 (https://arxiv.org/show-email/021d3e8e/2606.31308)\] \[经CCSD代理\] **\[v1\]** 2026年6月30日星期二 08:18:45 UTC (258 KB)

相似文章

LLM基准测试

Reddit r/AI_Agents

一项关于大语言模型基准测试的研究或报告，可能比较了各种任务上的表现。