所以看来现在人人都用 LLM 来思考了

# 所以我想大家现在都用 LLM 思考了 - Eva 的博客 来源：https://eva.ac/blog/llms/ 最近经常被问到一个问题："你用的是哪个 AI 模型做这个的？"——基本上本博客的每篇文章都被这么问过。答案一直是我的大脑，我从未在任何已发布的研究中使用过 AI，从来没有。 接下来的问题通常是为什么，然后会跟一句"如果你用 Claude Mythos 你会势不可挡的"。这篇文章将解释为什么我不喜欢用 AI 做研究，以及我对 LLM 在开发和网络安全领域的一般看法。 ## 为什么我不用 AI 很简单，我做这些是为了好玩，而把探究事物的乐趣全部交给 AI 而不是自己动手，我觉得不好玩。换句话说，我喜欢用自己的大脑。 我喜欢写代码，喜欢盯着 DevTools、Binary Ninja 或者别的什么看上几个小时，喜欢探索那些奇怪的库源码，仅凭 GitHub 代码搜索和一个梦想就把它追踪到底——这对我来说很有趣。我在这个博客上做任何事情都不是为了钱，是为了好玩，钱只是个不错的副产品。 ### 但你为什么不把枯燥的部分交给 AI 呢？ 很多枯燥的部分其实也挺有趣的，确实有一部分不有趣，但我无法把 LLM 替我做的事据为己有，而且我非常不愿意把我个人博客上发布的东西当作自己的成果，那些其实是 LLM 替我做的。 这个博客是我的，上面所有的研究成果都是我做的，或者是与其他人的合作研究且明确标注了贡献者。我不能把 LLM 替我做的事据为己有，我也无法恰当地署名给一个 LLM，因为它不是人。 ### 使用 LLM 会让我发疯 我真的试过用 LLM，只是为了体验一下。不是什么要发布的研究，但我实在受不了了，从此再也不想用 LLM。 我不知道为什么这么多人没有这种体验，但盯着 LLM 的输出，看着它自信满满地犯错最终歪打正着，或者看着它运行的命令做一些非常愚蠢的事，这会把我逼疯到直接在它回答完之前就把它停掉。我无法忍受一个东西错得如此自信（虽然它最后可能还是会得到正确结果）。 ## 我并不否认这些模型很强大 LLM 是相当强大的机器，最近我们已经看到了这一点，这是肯定的。它们仍然被过度营销，被吹捧得比实际更强，但我无法否认它们确实很强大，因为它们就是很强大。 ### LLM 仍然需要指导 如果你把一个 LLM 扔进 Linux 内核，不给任何其他指导就让它找一个 RCE，它大概找不到。在当前阶段，你仍然需要技能和经验来引导 LLM。 我们最近慌里慌张关注的那些漏洞，都是熟练的研究人员使用 LLM 发现的，很可能是在大公司里工作，有足够的算力支持他们随便用。因为 LLM 仍然需要指导，不是谁都能做到这一点，无论 OpenAI 或 Anthropic 怎么试图让你相信。 ## 营销和 php2shell AI 公司把网络安全当作营销策略，而且表现得很明显。一个很好的例子是 php2shell，三家公司： - calif（研究公司） - openai（你们知道 openai 是谁） - wiz（研究公司） 三方合作发布了各自的博客文章，看起来叙事各不相同。 calif 采用的叙事是"AI 在人类的引导下发现了这些 PHP 漏洞"，而 OpenAI 采用的是"智能体发现了关键漏洞"，Wiz 走的是中间路线，但仍然相当偏向 OpenAI。 ### "修补世界" OpenAI 谈了很多关于他们如何帮助维护者修补这些问题、更快地为更多人缓解漏洞。我确实在一定程度上这么做了，但我不认为他们做了所有能做的事。 如果他们想的话，他们可以轻松地借助 AI 把这些安全修复向后移植到旧版本的 PHP 中。他们又不是没有算力——他们有的，而且有很多，他们是 OpenAI。 ### 补丁发布前先丢 PoC 视频 最近基于 AI 的网络安全领域出现了一个常见趋势：研究人员或公司在 Twitter 上发布未打补丁的 0day 的 PoC 视频，不知道为什么。 这明显就是营销，除了让安全状况变得更糟之外毫无用处。这些 PoC 视频包含相当多有用的信息，不管你怎么隐藏（而且很多其实没隐藏多少），只会制造恐慌。 哈希值也是如此。哈希值一直是一种在漏洞或成果公开之前声称拥有证明的方式，而不是用来制造恐慌的。**你不应该把产品名称和哈希值放在一起，哈希值根本不是用来干这个的。** 但现在许多公司和一般人像撒糖一样随意发布哈希值，毫无理由地引发恐慌。至少 PoC 视频你能知道漏洞是什么，只有一个哈希值加一个产品名，你甚至不知道这些，只知道存在某个漏洞。 ### tailworm 这是一个没那么大的事件，但仍然挺大的。在 Bluesky 上，一位"安全研究人员"声称在 Tailscale 中发现了一个 0day。他们通过发布一个哈希值，配文"tailscale privilege escalation"来做到这一点。 "Erica Windisch" 发帖"tailscale privilege escalation"后面跟着一个哈希值 这显然让人们非常非常担忧。Tailscale 提权漏洞意味着什么？攻击者能否绕过所有 ACL 规则？会发生什么？ 别担心！因为我们会通过一个 Bluesky 帖子串慢慢获得漏洞信息。 "Erica Windisch" 发帖提到首先它并不影响所有 tailnet 设备，攻击者必须在 tailnet 上，受影响的系统必须处于"非默认但广泛部署和支持的配置"中。并且"影响包括使用 headscale 的系统。"随后又发了一条帖子给出关闭 Tailscale SSH 的 CLI 命令。 所以，这样做的意义是什么？你发布了几乎没有信息，一小时后发布更多但很隐晦的信息，然后再过一小时你就直接说出了漏洞在哪里？ 我原以为这里正在进行某种负责任的披露，这就是为什么哈希值被发到推特上等等。 **你会相信我吗？这甚至都不是负责任地披露。** 第二天，这个人拥有的（单人）公司在 Bluesky 上发布了这个网站： tailworm 网站，只是一个 vibe 编码的网站，配了一个好记的域名（tailworm.com），上面有一堆 AI 生成的文字。 一个完整的网站，明显是 vibe 编码的，包含他们所有的发现，其中很多完全无关紧要或者并不严重。虽然"提权漏洞"*确实*存在，但它需要你已经拥有某台机器的 ACL 规则，并且启用了该机器的 Tailscale SSH。 漏洞的实质仅仅是你可以在这台特定的机器上提权到 root。就这样。这就是被大肆恐慌渲染的东西，然后他们第二天就公开发布了，甚至没有联系 Tailscale 让他们修补。 它甚至被取了一个花哨的名字，一句口号。但没有人想到要负责任地披露，而是直接发布在了一个社交媒体平台上。 发生这件事的原因相当清楚：是为了给公司做广告，而不是为了让世界变得更好。是为了让所有人都记住这家揭露了 Tailscale 关键问题的公司，也许有人会找他们做审计。 ## 并非所有漏洞都是 AI 发现的 在我看来，最大的一个发现是 eMudhra。你们知道的，那家把 CA 私钥设为数字四的公司。这不是 AI 发现的，而是一个人用 Google 出品的一个老掉牙的库叫 paranoid_crypto（https://github.com/google/paranoid_crypto/）出于好奇心随便扫描密钥。 在我看来，这就是它的美妙之处：最大的一件事被所有这些 AI 错过了，而是被一个只是在随便搞事的人发现的。 ## 结论 我认为人们在这个 AI 一切的浪潮中迷失得太深了，以至于完全忽视了自己动手做事。亲自写代码、亲自调试、连续几个小时盯着压缩后的 JS 打包文件、遍历各种看起来很有趣的子域名——这些依然非常有趣！我觉得人们已经有点忘记了这一点。 虽然 AI "可以直接做事"，但自己动手做也很有趣。我完全理解在工作中使用 AI，因为我们生活在一个软件工程师被期望比以往任何时候都更快的世界里，在我看来这不是一个好先例，但这就是我们必须面对的现实。 个人项目是你享受乐趣、做自己喜欢的事情的地方。我觉得把这些交给 AI 甚至会毁掉你享受创造过程的乐趣。 至少对我来说，到达终点的过程比最终产品更有趣。因为我享受沿途学习的过程，也享受在一个毫无进展的底层机制上撞墙。 我捣鼓很多东西，也会发现很多东西。但它们几乎都不会发到这个博客上，仅仅是因为我觉得每篇新博文都需要超越自己，我不断挑战自己去发现更有趣同时也更关键的东西。这让我学到了比我已知的多*得多*的东西。 写代码本身就是一件有趣的事，而让 AI 替你写——即使你给了它一个编写计划——你也会因为没有亲自编写而错过*太多*学习机会，因为不存在完美的架构计划，事情会在你编写代码的过程中不断变化。 去逆向工程那个旧 IoT 设备吧，对那个看起来很奇怪的、需要联网并且把数字四作为……的中国自动宠物喂食器做中间人攻击吧，为你经常用的、前端很烂的网站做一个新前端吧。你通过动手折腾能学到很多东西。 *ps. 下一篇 writeup 很快（soonTM）*