关于 Unix 负载平均的一些(大多是历史性的)问题
摘要
本文详细介绍了博客作者为阻止旧浏览器以减少来自恶意爬虫的负载(可能用于 LLM 训练)所采取的措施,并讨论了 Inoreader 和 Feedly 等阅读器以及 Vivaldi 浏览器和存档服务的特定问题。
<p><a href="https://lobste.rs/s/26liff/some_mostly_historical_issues_with_unix">评论</a></p>
查看缓存全文
缓存时间: 2026/09/10 04:09
# 您正在使用过旧的浏览器
来源:https://utcc.utoronto.ca/~cks/cspace-bad/cspace-old-browser.html
## 您正在使用一个可疑的旧版浏览器
您可能看到这个页面,是因为您试图访问我的博客(漫想录)(https://utcc.utoronto.ca/~cks/space/blog/)或其所属的wiki平台CSpace (https://utcc.utoronto.ca/~cks/space/)。很遗憾,您使用的浏览器版本被我的反爬虫防护机制判定为可疑——通常是因为版本过于陈旧(这一情况最常出现在Chrome浏览器上)。截至2025年初,网络上充斥着大量高频爬虫(据信部分目的是为LLM训练采集数据),这些爬虫经常使用各种旧版浏览器User-Agent,尤其是Chrome的UA。为了减轻漫想录 (https://utcc.utoronto.ca/~cks/space/blog/)的服务器负担,我正在尝试(并逐步实施)屏蔽所有这类爬虫,而您恰好触发了拦截机制。
如果您确信自己的浏览器已是最新版本,仍看到此页面,可以通过我在大学的联系方式 (https://www.cs.toronto.edu/~cks/)(邮箱地址可从该页面推导)与我联系。若方便,请告知您正在使用的浏览器类型及版本,最好能提供完整的User-Agent字符串。
## 致使用Inoreader(阅读器)的用户
我并未屏蔽Inoreader的Feed抓取功能,也未将其判定为过时浏览器——它一直正常抓取我的订阅源。我不清楚为何Inoreader会向您展示此页面。可能是该服务定期使用旧版浏览器HTTP User-Agent(或实际旧浏览器)尝试抓取页面,并将抓取结果(即本页面)直接呈现给用户,而非显示其正常聚合的订阅内容。这种做法如今会造成严重问题:现代HTTP请求的响应结果部分取决于所使用的HTTP User-Agent (https://utcc.utoronto.ca/~cks/space/blog/web/HTTPResultsAndUserAgents)。
## 致使用Feedly(阅读器)的用户
与Inoreader类似,Feedly会定期使用伪装的旧版浏览器HTTP User-Agent头抓取我的订阅源,该请求失败后,Feedly仍会将这个失败结果与其正常Feed抓取器获取的内容关联展示。对此我无能为力;如有可能,建议您联系Feedly客服。详情可参阅我在漫想录中的这条评论 (https://utcc.utoronto.ca/~cks/space/blog/web/FeedReaderErrorsProblem?showcomments#cks-20260215115901)。
## 致使用Vivaldi浏览器的用户
由于持续发生的攻击行为,您可能需要修改Vivaldi的"User Agent Brand Masking(品牌标识伪装)"设置 (https://help.vivaldi.com/desktop/miscellaneous/user-agent-brand-masking/),使其正确标识为Vivaldi浏览器而非Google Chrome。即使是当前版本的Vivaldi也需如此操作。
## 致使用archive.*服务的用户
您可能通过archive.today、archive.ph、archive.is等存档服务访问本站。不幸的是,archive.*系列服务抓取网页的方式与恶意爬虫难以区分:它们使用旧版Chrome User-Agent值,从分散且未明确标识的IP地址段抓取内容,部分IP的DNS反向解析记录甚至伪造为googlebot地址(这种行为通常只有恶意爬虫才会实施)。建议改用archive.org——该服务遵循更规范的爬取策略,且能正常访问我的博客漫想录 (https://utcc.utoronto.ca/~cks/space/blog/)。
Chris Siebenmann, 2025\-02\-17
相似文章
关于使用Python电子邮件包读取消息的笔记
一篇个人博客文章,解释了一种反爬虫浏览器阻止机制,包括给Inoreader、Feedly、Vivaldi和archive.*用户的特别说明。
认真的编辑是一种承诺(至少对我来说)
文章讨论了屏蔽旧浏览器用户代理以减少爬虫负载的挑战,并为受影响的订阅阅读器和归档服务提供了具体说明。
在非典型 Shell 环境中使用 GNU Emacs Tramp 系统的注意事项
作者解释说,他们的博客正在屏蔽来自旧版或可疑浏览器 User-Agent 的请求,以应对大量爬虫请求激增的问题(这很可能是为了收集 LLM 训练数据)。文中为 Vivaldi 和 Inoreader 用户提供了调整设置或报告问题的具体指导。
一种让你的DHCP服务器耗尽动态IP的不寻常方式
克里斯·西本曼解释了他的反爬虫措施,由于针对LLM训练的高频爬虫激增,他阻止旧版浏览器,这给Feed阅读器和存档服务带来了混乱。
我们应该摒弃平均CPU利用率
本文解释为何平均CPU利用率对于延迟敏感型工作负载是一个误导性指标,利用排队论和一个真实的生产事故案例,主张采用更细致的监控方法。