爬虫情况更新

# 关于爬虫问题的最新情况 来源：https://lwn.net/SubscriberLink/1080822/990a8a5e2d379085/ ## \[LWN 订阅者专属内容\] > ### 欢迎来到 LWN.net 以下订阅者专属内容由一位 LWN 订阅者提供给您。成千上万的订阅者依赖 LWN 获取 Linux 和自由软件社区的最佳新闻。如果您喜欢这篇文章，请考虑订阅 LWN (https://lwn.net/subscribe/)。感谢您访问 LWN.net！ 我们在 2025 年初发表的文章《对抗 AI 爬虫机器人的祸害 (https://lwn.net/Articles/1008897/)》讨论了网站被大规模抓取以获取大型语言模型及相关项目训练数据的问题。这种活动使网站流量不堪重负。在文章发表一年后，问题仍在加剧。来自暗处势力的猛烈冲击达到了新的高度，开放网络的维护变得越来越困难。这些流量来自哪里？我们能做些什么？ #### 住宅代理 正如去年所描述的那样，爬虫攻击来自网络上的海量源头。在短短几小时内，看到来自数百万个独立 IP 地址的协调请求，每个地址最多只访问网站两三次，这并不罕见。攻击者控制的数据（如用户代理字段）完全是虚构的；每次访问都旨在看起来像另一个使用浏览器的普通人类。有一些方法可以区分——例如，机器人通常不获取图像或 CSS——但等到做出判断时，相关地址就不会再被使用了。此时封锁该地址只是浪费时间。 这些流量主要来自住宅和移动网络，由中央指挥控制节点引导。普通系统上安装了软件，该软件接收控制节点的指令，按需抓取网页，并将结果数据转发回控制器。很多时候，这种活动是在设备所有者不知情或未同意的情况下进行的。“住宅代理”一词用于描述以这种方式使用的系统。 有几种不同类型的运营商（至少表面上是这样）运营住宅代理网络来攻击网站。第一种纯粹是犯罪性质的，在已被某种恶意软件入侵的系统上运行爬虫。今年年初，Google 采取行动摧毁了一个名为 IPIDEA (https://cloud.google.com/blog/topics/threat-intelligence/disrupting-largest-residential-proxy-network) 的机器人网络，并提供了很多关于这些操作如何运作的信息。IPIDEA 的关闭与 LWN 此处爬虫流量的显著减少相关；几个月内情况相对平静。不过，这段平静期后来结束了。 最近，媒体流设备被识别出 (https://krebsonsecurity.com/2026/06/popa-botnet-linked-to-publicly-traded-israeli-firm/) 是恶意抓取软件的主要载体。有时设备在源头被入侵；其他时候，它们只是安全性差，事后容易被入侵。 第二种运营商运作得更为公开，假装有一定合法性，并提供“道德来源”的 IP 地址。一家名为 Bright Data 的公司是最突出的之一；它乐于宣传其绕过网站访问控制和流量限制的能力。Bright Data 提供“免费”VPN 服务；用户只需允许 Bright Data 通过其设备路由流量——换句话说，就是成为该公司住宅代理网络的一部分。每个使用此 VPN 的手机或其他设备都成为另一个用于攻击网站的端点。 还有许多其他这种类型的运营商；它们通常提供一个库，应用开发者可以将其链接到自己的产品中，并因劫持其用户的网络连接而获得报酬。其中一家甚至向我们询问是否可以在 LWN 上为其 SDK 投放广告；不用说，那是一次简短的对话。总的来说，这些公司范围很广，从那些试图塑造某种合法形象（例如宣称“符合 GDPR”）的公司，到那些公然卑劣的公司。 虽然这些住宅代理网络被用于网站抓取，但值得强调的是，这些运营商有能力运行代码，访问数百万设备所连接的任何网络上的资源。认为这种访问仅用于抓取，往好里说是天真的。 然后，当然还有那些将开发模型作为核心业务的高调公司。这些公司自己进行抓取；可以轻松归因于它们的流量在用户代理字段中清晰标识，并且通常遵守 robots.txt 等措施。它们也会反复抓取整个网站，似乎基于这样的理论：2003 年写的文章可能在昨天发生了什么变化，但它们不会从数百万个系统产生压倒性的流量，因此不是最大的问题。 不清楚的是谁在使用这些住宅代理；*有人* 在付钱让它们对网站发动这些攻击。没有证据（据我所知）表明前沿模型公司正在使用这些网络。但是，如果结果证明它们*确实* 在这样做，那么全球范围内增加的惊讶程度几乎不会引起注意。这些公司正在以某种方式为其模型提供数据，它们对自己如何获取训练数据并不坦率，并且在对内容创作者——或任何可能对其运作有顾虑的人——的尊重程度上并未表现出色。 然而，对于每一个公开模型，必然存在大量的秘密模型。许多公司肯定在尝试构建自己的模型；毕竟，我们被告知 AI 将接管世界，而在这场竞赛中胜出的公司将获得难以计数的财富。许多国家必然有秘密政府机构在开发自己的模型，并在任何可能的地方搜寻训练数据。大型犯罪组织（就其与政府有区别而言）可能也希望拥有自己的模型。这些工具被视为武器，一场军备竞赛正在进行。整个互联网都陷入了交火之中。 #### 保卫开放互联网 作为回应，网站运营商一直在努力保护他们的网站，同时尽量减少对实际用户的影响。Anubis (https://lwn.net/Articles/1028558/) 通过要求工作量证明来抵御爬虫，现已广泛使用。其他网站使用商业服务，这些服务有时会通过一个“证明你是人类”的按钮来表明自己的存在。或者网站强迫用户挑出包含路灯（但仅限于 LED 灯泡的）的方块、放置拼图碎片、或者一边按住空格键一边哼唱歌曲。许多网站功能被置于登录门或付费墙之后。一些网站尝试使用像 iocaine (https://lwn.net/Articles/1056953/) 这样的工具主动污染发送给爬虫的数据。 无论是设置和维护这些机制的需要，还是用户访问网站时必须应对这些机制的要求，都构成了爬虫及其付费者强加给整个世界的一笔沉重负担。 最近，LWN 遭受了迄今为止最严重的爬虫攻击。由于已经实施的防御措施，网站承受住了流量，大多数实际读者可能甚至没有注意到。有人要求描述我们采取的保护网站的措施；出于显而易见的原因，我们不愿详细讨论。在这个层面上，同样是一场军备竞赛。 我们*可以* 说的是，我们已尽力将对真实读者的影响降到最低。我们没有采用像 Anubis 这样的工具，部分原因是它会给尝试访问网站的人带来恼人的延迟，但也部分原因是似乎不可避免爬虫最终会找到绕过它的方法。事实上，有迹象表明这已经在发生了。当你拥有数百万其他人的机器来完成工作时，工作量证明要求并非巨大的障碍。 我们还希望不阻碍合法搜索引擎、互联网档案馆和其他类似团体的运作。一些网站可能会添加明确的许可列表，例如，让主导搜索引擎访问该网站。此类措施会进一步巩固一个已经对我们服务不佳的垄断地位，应予以避免。到目前为止，我们在这方面取得了成功。 我们*已经* 积极优化了网站的某些部分，并找到了在网站遭受攻击期间最小化昂贵操作的方法。匿名读者偶尔可能会遇到其中一项措施；已登录用户则不会。有趣的是，网站遭受攻击时的响应时间通常比平静时期（防御措施处于休眠状态）更好。然而，我们已不再天真地认为问题已经解决；一旦当前措施不再有效，我们必须考虑下一步行动。 7 月 2 日，Google 宣布 (https://cloud.google.com/blog/topics/threat-intelligence/google-continued-disruption-residential-proxy-networks) 其与美国联邦调查局等机构协调，捣毁了一个名为“NetNut”的住宅代理网络。目前看来，这一行动确实在一定程度上成功降低了爬虫攻击的强度。然而，经验表明，这种受欢迎的和平状态只能持续一段时间。Google 不厌其烦地指出，其 Play Store 现在将检查感染 NetNut 的应用，但所有主要供应商都对为什么如此容易将具有住宅代理功能的应用放入其应用商店这一问题保持沉默。 最好能在整个互联网被驱赶到防御墙之后，以及那个激发了如此多创造力的开放网络消失之前，找到一个更持久的解决方案。推动这些攻击的行业似乎完全心安理得地将独立网站洗劫一空后变成冒烟弹坑——这种态度也延伸到了地球及其经济。然而，我们中的一些人反对这种想法，并将与之抗争。幸运的是，总有一天全世界会决定让大型语言模型及相关技术背后的公司遵守最低限度的道德标准。但在此之前，这种行为将继续存在，我们别无选择，只能保卫自己。