我们让 DeepSeek 指挥四个 Qwen3.5-9B 模型,利用较小的开放模型对二进制文件进行逆向工程。
摘要
实验探索用 DeepSeek-V4.1-Flash 作为协调者指挥 4 个 Qwen3.5-9B 本地小模型对二进制程序进行逆向工程,结果显示小模型协作在小任务上纯属开销,但协调者动态改写工人提示和提供工具是最有趣的发现。
Reverse Engineer Anything 最近火了起来,但我们见过的每一个令人印象深刻的逆向工程成果,都使用了(闭源的)前沿模型。我们想知道,如果由一个更大的模型来组织,小型本地模型是否也能在这方面发挥实际作用,从而有望降低成本,让更多人能够对任何东西进行逆向工程 :)
配置 负责人:DeepSeek-V4.1-Flash。它负责反汇编二进制文件、为函数命名、恢复函数签名和内存布局,并在共享任务板上发布附带提示的任务。工作模型:4× Qwen3.5-9B。每个模型领取一个任务,用 Python 重写一个函数。判定器(diff_test):分别用原始二进制函数和 Python 重写版本运行约 600 个测试用例,比较返回值和状态的每一个字节。工作模型只有在测试 100% 通过时才提交。执行框架:一个基于 IPython 的极简框架。如果负责人认为有帮助,可以修改工作模型的执行框架(提示词、工具)。(这最终成了最有意思的部分)
作为最初的概念验证,目标是两个用 Claude Code 生成并编译的小型 C 程序。整个团队始终只能看到二进制文件。作为基线,我们还让 DeepSeek(负责人)单独完成了每项任务。
任务 运行方式 函数数 升级交由负责人处理的函数数 成本 耗时
HF 标志动画 团队 38/38 15 $2.97 86 分钟
HF 标志动画 单独 38/38 — $0.87 14 分钟
太空射击游戏 团队 56/56 20 $3.60 100 分钟
太空射击游戏 单独 56/56 — $3.28 54 分钟(启动 4 次)
对于较小的任务,团队协作完全成了额外开销:负责人必须组织小模型并纠正它们的错误,比自己单独完成还要花更多时间。
最有意思的部分 对于射击游戏,负责人最终修改了 3 次小模型的指令。内部规则。工作模型会凭空编造辅助函数名,忽略有符号与无符号的区别,也不使用已记录的内存布局。它们把 b.ls 理解成 <,而不是无符号的 <=,调用函数时传入错误数量的参数,还手动计算字段偏移量(并且算错)。负责人为此补充了指令。查询工具:由负责人编写,让工作模型可以查询函数签名和字段偏移量,而不必自行重新推导。
注意事项 二进制文件没有剥离符号。函数名让负责人的映射工作容易得多,而大多数实际软件发布时并不带这些符号。这些是小型、结构清晰、由 AI 生成的程序,而不是经过优化的真实世界代码。只有两个数据点。任务规模与结果之间的趋势具有启发性,但尚未得到证实。仍有约 40% 的函数被退回给负责人处理。完整文章见:https://huggingface.co/blog/ybelkada/reverse-engineering-anything-with-small-local-mode
相似文章
Qwen 3.8 27b 对比 Deepseek Flash
这篇文章对比了开源AI模型Qwen 3.8 (27B) 和 Deepseek Flash,讨论了基准测试,并寻求用户经验以评估它们的性能。
@Saccc_c: 想给deepseek v4 flash增加多模态能力,强烈建议配合qwen3.7-flash使用,目前最高性价比的模型组合 qwen3.7-flash是一个轻量多模态模型,速度快也很适合大部分图片理解任务。关键价格也够低,现在注册有100…
推荐将 DeepSeek v4 flash 与 qwen3.7-flash 组合使用,以低成本为 DeepSeek 增加多模态图片理解能力,并提供了通过阿里云百炼和 Codex 的简单配置步骤。
@FuckAnthropic: 做了对比分析,综合看,DeepSeek V4 Flash-0731 大致是一个 Opus 4.7 - 4.8 之间水平的模型,以极小激活规模进入了前沿 Agent 模型竞争区间,用约 1/12~1/60 的 token 成本进入前沿 Ag…
作者对比分析认为,DeepSeek V4 Flash-0731 在极小激活规模下达到 Opus 4.7-4.8 水平,以极低 token 成本进入前沿 Agent 模型区间,整体超越 GLM-5.2,但短板仍是困难仓库级编程和长时程工程。
@no_stp_on_snek: 1/ 我一直把 DeepSeek V4.1 Flash(EXL3 2.9 bpw,2x DGX Spark,TP2)作为实现代理用于一个真实的功能……
作者分享使用 DeepSeek V4.1 Flash(EXL3 2.9 bpw,2x DGX Spark,TP2)作为实现代理、配合独立审查代理开发真实功能的实践经验,指出其报告有时会超出实际证据。
我让Qwen 3.8 27B执行一个逆向工程任务,它仅用30分钟就完成了
对Qwen 3.8 27B模型在复杂逆向工程任务上的测试表明,作为本地模型,它展现了令人印象深刻的性能,不仅超出预期,甚至还能检测到越狱尝试。