我们让 DeepSeek 指挥四个 Qwen3.5-9B 模型,利用较小的开放模型对二进制文件进行逆向工程。

Reddit r/LocalLLaMA 新闻

摘要

实验探索用 DeepSeek-V4.1-Flash 作为协调者指挥 4 个 Qwen3.5-9B 本地小模型对二进制程序进行逆向工程,结果显示小模型协作在小任务上纯属开销,但协调者动态改写工人提示和提供工具是最有趣的发现。

Reverse Engineer Anything 最近火了起来,但我们见过的每一个令人印象深刻的逆向工程成果,都使用了(闭源的)前沿模型。我们想知道,如果由一个更大的模型来组织,小型本地模型是否也能在这方面发挥实际作用,从而有望降低成本,让更多人能够对任何东西进行逆向工程 :) 配置 负责人:DeepSeek-V4.1-Flash。它负责反汇编二进制文件、为函数命名、恢复函数签名和内存布局,并在共享任务板上发布附带提示的任务。工作模型:4× Qwen3.5-9B。每个模型领取一个任务,用 Python 重写一个函数。判定器(diff_test):分别用原始二进制函数和 Python 重写版本运行约 600 个测试用例,比较返回值和状态的每一个字节。工作模型只有在测试 100% 通过时才提交。执行框架:一个基于 IPython 的极简框架。如果负责人认为有帮助,可以修改工作模型的执行框架(提示词、工具)。(这最终成了最有意思的部分) 作为最初的概念验证,目标是两个用 Claude Code 生成并编译的小型 C 程序。整个团队始终只能看到二进制文件。作为基线,我们还让 DeepSeek(负责人)单独完成了每项任务。 任务 运行方式 函数数 升级交由负责人处理的函数数 成本 耗时 HF 标志动画 团队 38/38 15 $2.97 86 分钟 HF 标志动画 单独 38/38 — $0.87 14 分钟 太空射击游戏 团队 56/56 20 $3.60 100 分钟 太空射击游戏 单独 56/56 — $3.28 54 分钟(启动 4 次) 对于较小的任务,团队协作完全成了额外开销:负责人必须组织小模型并纠正它们的错误,比自己单独完成还要花更多时间。 最有意思的部分 对于射击游戏,负责人最终修改了 3 次小模型的指令。内部规则。工作模型会凭空编造辅助函数名,忽略有符号与无符号的区别,也不使用已记录的内存布局。它们把 b.ls 理解成 <,而不是无符号的 <=,调用函数时传入错误数量的参数,还手动计算字段偏移量(并且算错)。负责人为此补充了指令。查询工具:由负责人编写,让工作模型可以查询函数签名和字段偏移量,而不必自行重新推导。 注意事项 二进制文件没有剥离符号。函数名让负责人的映射工作容易得多,而大多数实际软件发布时并不带这些符号。这些是小型、结构清晰、由 AI 生成的程序,而不是经过优化的真实世界代码。只有两个数据点。任务规模与结果之间的趋势具有启发性,但尚未得到证实。仍有约 40% 的函数被退回给负责人处理。完整文章见:https://huggingface.co/blog/ybelkada/reverse-engineering-anything-with-small-local-mode
查看原文

相似文章

Qwen 3.8 27b 对比 Deepseek Flash

Reddit r/LocalLLaMA

这篇文章对比了开源AI模型Qwen 3.8 (27B) 和 Deepseek Flash,讨论了基准测试,并寻求用户经验以评估它们的性能。

@FuckAnthropic: 做了对比分析,综合看,DeepSeek V4 Flash-0731 大致是一个 Opus 4.7 - 4.8 之间水平的模型,以极小激活规模进入了前沿 Agent 模型竞争区间,用约 1/12~1/60 的 token 成本进入前沿 Ag…

X AI KOLs Timeline

作者对比分析认为,DeepSeek V4 Flash-0731 在极小激活规模下达到 Opus 4.7-4.8 水平,以极低 token 成本进入前沿 Agent 模型区间,整体超越 GLM-5.2,但短板仍是困难仓库级编程和长时程工程。