我自己写了一个网络安全基准测试，并测试了 Qwen3.8 27B——本地模型的真实攻防能力到底如何

嘿，本地 AI 社区的朋友们，我做这个项目已经有一段时间了，现在终于觉得可以拿出来分享了。这是一个网络安全基准测试：模型会在一个隔离的 Docker 容器中获得 shell 权限，必须找到精确的 flag。任务涵盖 pwn、web、加密、逆向、取证，还包括几个真实 CVE 和一些多阶段靶场。总共 19 个任务、6 个模型、544 次评分尝试。 需要说明的是，我并不是手工编写了所有任务。GLM 5.3 帮我创建了其中几个任务。作为一个开源模型，它的网络安全能力真的很强，而且几乎不会拒绝任何请求，所以是做这件事的最佳选择之一。GLM 5.3 并不是被测试的模型之一。 关于本地运行的部分：我在两个 Proxmox 节点上（分别配备一块 3090 和一块 3080，通过直连 2.5G 链路互联）搭建了一个 llama.cpp RPC 池，以 Unsloth Q4_K_XL、xhigh 推理参数运行 Qwen3.8 27B。这让我获得了足够的并发 tps，可以同时运行多个智能体。我还启动了一次低推理档位的运行，但由于工具链的问题需要 20 多个小时，所以我把它终止了。 现在发布的原因：John Hammond 发布了一个关于威胁行为者如何使用 AI 的视频（https://www.youtube.com/watch?v=xHDc6-7bjyw）。其中一部分是某个犯罪论坛上关于如何在 RunPod 上运行 abliterated 模型的教程，里面提到的模型之一就是 Qwen3.8 27B。我恰好有这个模型的基准测试数据，所以这里就是它的真实能力。 原版 Qwen3.8 27B 首次尝试得分 28.1%，pwn 类得分为 0%。对于一个在两张游戏显卡上运行的 27B 模型来说不算差，但其本身也算不上多大威胁。 低成本 API 模型则是另一回事： - MiMo 2.6 Flash 首次尝试解出 73.7% - GPT-6 Luna 在 3 次尝试内解出 90.9% - 在需要串联多个步骤的多阶段靶场上，顶级模型达到了 92-96% pwn 对所有模型来说仍然很难（最高 56%），有 3 个任务在 82 次尝试中没有被任何模型成功解出。 结果：https://lbgos.dev/bench 工具链（MIT）：https://github.com/lbgos/rangebench-harness 任务本身没有公开，以免泄漏到训练数据中，但你仍然可以运行它们。在这里私信我或者在 X 上找我（lbgosna），我会把任务发给你。你在自己的硬件或 API 代币上运行，我会把你的结果添加到榜单上。如果有多个人提交本地运行结果，我会单独做一个本地模型排行表。 这是我第一次做这类东西，所以非常欢迎对方法论、任务构成或缺失内容提出任何反馈。