一种让你的DHCP服务器耗尽动态IP的不寻常方式
摘要
克里斯·西本曼解释了他的反爬虫措施,由于针对LLM训练的高频爬虫激增,他阻止旧版浏览器,这给Feed阅读器和存档服务带来了混乱。
暂无内容
查看缓存全文
缓存时间: 2026/07/15 01:39
# 您使用的浏览器版本过旧
来源:https://utcc.utoronto.ca/~cks/cspace-bad/cspace-old-browser.html
## 您可能正在使用一个可疑的旧版浏览器
您看到这个页面,很可能是因为尝试访问我的博客《Wandering Thoughts》(https://utcc.utoronto.ca/~cks/space/blog/)或其所在的知识库系统CSpace(https://utcc.utoronto.ca/~cks/space/)。不幸的是,您使用的浏览器版本被我的反爬虫措施判定为可疑——最常见的原因是该版本过旧(通常指某个版本的Chrome)。更糟糕的是,2025年初以来,大量高频率的爬虫(部分显然是为大语言模型训练采集数据)会使用各种旧版浏览器的用户代理字符串,尤其是Chrome的用户代理。为了减轻《Wandering Thoughts》(https://utcc.utoronto.ca/~cks/space/blog/)的负载,我正在尝试(试图)阻止所有此类爬虫,而您正好遇到了这个情况。
如果这是一个误判,并且您使用的是当前主流版本的浏览器,您可以联系我——通过我目前在大学的联系方式(https://www.cs.toronto.edu/~cks/)即可(您应该能从中推断出邮箱地址)。如果可能,请告知您使用的浏览器等信息,最好能提供精确的User-Agent字符串。
## 致使用Inoreader(RSS阅读器)的用户特别说明
我没有屏蔽Inoreader的Feed抓取器,也没有认为它版本过旧,Inoreader经常正常抓取我的Feed。我不清楚为什么Inoreader会向您展示这个页面。可能的原因是,Inoreader有时会使用旧版浏览器的HTTP User-Agent(或真实的旧版本浏览器)来尝试抓取Feed或页面,然后将其抓取结果(即本页面)展示给用户,而不是使用其正常的聚合Feed抓取代理的结果。这在今天是一个严重的错误;现代HTTP抓取的结果部分取决于所使用的HTTP User-Agent(https://utcc.utoronto.ca/~cks/space/blog/web/HTTPResultsAndUserAgents)。
## 致使用Feedly(RSS阅读器)的用户特别说明
与Inoreader类似,Feedly有时会使用伪造的旧版浏览器HTTP User-Agent头来抓取我的聚合Feed,结果失败,然后它竟固执地将这次失败的结果作为其常规Feedly HTTP User-Agent抓取的Feed内容。对此我无能为力;您应该联系Feedly支持(如果您能找到的话)。更多细节请参见我《Wandering Thoughts》中的这条评论(https://utcc.utoronto.ca/~cks/space/blog/web/FeedReaderErrorsProblem?showcomments#cks-20260215115901)。
## 致使用Vivaldi的用户特别说明
由于正在遭受攻击,您可能需要更改“用户代理品牌伪装”设置(https://help.vivaldi.com/desktop/miscellaneous/user-agent-brand-masking/),让您的Vivaldi标识自身为Vivaldi而非Google Chrome。即使您使用的是当前版本的Vivaldi,也同样适用。
## 致使用archive.*的用户特别说明
您可能是通过archive.today、archive.ph、archive.is等站点看到本页面的。不幸的是,archive.*的页面存档抓取方式与恶意行为者难以区分。它们使用旧版Chrome的User-Agent值,从广泛分布且无法明确识别为自家的IP地址段进行抓取,甚至部分IP地址的逆向DNS记录被伪造为googlebot的IP地址(这种行为通常只有非常恶劣的行为者才会做)。我建议您改用archive.org,它的存档爬虫行为更规范,且能够抓取我的博客《Wandering Thoughts》(https://utcc.utoronto.ca/~cks/space/blog/)。
——Chris Siebenmann,2025-02-17
相似文章
关于UEFI机器网络启动的一些通用笔记
一位系统管理员解释了如何通过屏蔽老旧浏览器User-Agent来阻止LLM训练爬虫,并为受影响用户提供了应对建议。
捕获了一个 .git/config 爬虫
作者描述了他们的蜜罐网站如何通过提供虚假的 git 仓库数据捕获了一个 .git/config 爬虫,并分析了显示单个 IP 地址大量爬取活动的 Apache 日志。
IP Crawl:公开互联网上发现的开放网络摄像头实时地图集
一次IP扫描揭示了公开互联网上可访问的开放网络摄像头实时地图集,凸显了安全与隐私问题。
爬虫情况更新
关于AI爬虫机器人日益严重的问题的最新更新,这些机器人导致网站不堪重负,并探讨了住宅代理网络及其对开放网络的影响。
过时的HTML和无头浏览器总让我被屏蔽,于是我转而重放实际请求
作者分享了从使用无头浏览器切换到重放直接请求来抓取网站的经验,显著降低了被屏蔽率和资源消耗。