REFORGE：一种评估LLM在反编译二进制函数命名中逆向工程能力的基准测试方法

arXiv cs.AI 论文
llm reverse-engineering benchmark binary-analysis decompilation function-naming

摘要

REFORGE是一种新颖的基准测试管线，用于评估LLM的逆向工程能力，特别是针对反编译二进制函数命名，它解决了编译器优化下二进制到源代码对齐的可靠性问题。

arXiv:2607.07738v1 公告类型：cross 摘要：大型语言模型（LLM）越来越多地应用于逆向工程任务，最近的威胁情报报告显示它们在实时的进攻性安全工作流中运行。然而，关于其能力的宣称超越了我们的测量能力。现有的LLM辅助二进制分析基准测试将函数级真实数据的构建视为已解决的预处理步骤，并报告准确率，但未披露有多少函数能够被可靠评估。我们认为，公平评估的主要障碍不是模型能力，而是编译器优化下二进制到源代码对齐的可靠性。本文提出了Reforge，一个带有来源追踪的管线，通过编译、DWARF和语法提取、对齐以及反编译从C源代码构建函数级真实数据，并将对齐不确定性操作化为一个八门置信度漏斗，采用三层分层。在一个受控的微基准测试中，高置信度产出率从优化级别中的87.2%下降到65.9%，并且非配对比较通过幸存者偏差夸大了优化导致的性能衰减。对七个当代LLM在函数命名上的概念验证评估展示了该基础架构，并推动了不确定性感知的基准测试实践。
查看原文
查看缓存全文

缓存时间: 2026/07/13 07:54 

# REFORGE：一种用于评估 LLM 在反编译二进制函数命名中逆向工程能力的基准方法
来源：https://arxiv.org/abs/2607.07738
查看 PDF (https://arxiv.org/pdf/2607.07738)

> 摘要：大型语言模型（LLMs）正越来越多地应用于逆向工程任务，近期的威胁情报报告显示它们已在实时攻击安全工作流中运行。然而，对其能力的断言已超越了我们的测量能力。现有的用于 LLM 辅助二进制分析的基准将函数级标准答案的构建视为一个已解决的预处理步骤，并报告准确率而不披露有多少函数是可可靠评估的。我们认为，公平评估的主要障碍并非模型能力，而是编译器优化下二进制到源代码对齐的可靠性。本文介绍了 Reforge，一个可溯源追踪的管道，通过编译、DWARF 和语法提取、对齐以及反编译，从 C 源代码构建函数级标准答案，并将对齐不确定性运作化为一个八门置信漏斗和三级分层。在一个受控微基准测试中，各优化级别下的高置信度产出从 87.2% 下降到 65.9%，并且未配对比较会通过幸存者偏差夸大由优化导致的性能衰减。对七个当代 LLM 在函数命名上的概念验证评估展示了该基底的效用，并推动了不确定性感知的基准测试实践。

## 提交历史

来自：Andreas U. Schmidt [查看邮件 (https://arxiv.org/show-email/e3f81807/2607.07738) ] **\[v1\]** 2026 年 7 月 7 日（星期二）23:17:03 UTC（351 KB）

相似文章

跨异构任务的自演化LLM记忆抽取

Hugging Face Daily Papers

研究者推出BEHEMOTH基准与CluE聚类提示优化，使LLM能从多样化任务中抽取并保留异构记忆，相比既往自演化框架提升9%。