令人毛骨悚然的爬虫

# 网络爬虫泛滥 来源：https://simonwillison.net/2026/Sep/7/creepy-crawlies/ 2026年9月7日 - 链接博客 **网络爬虫泛滥 (https://people.kernel.org/monsieuricon/creepy-crawlies)** (来自 (https://news.ycombinator.com/item?id=49491791)) 康斯坦丁·拉比采夫从 git\.kernel\.org (https://git.kernel.org/)——Linux 内核官方 Git 代码库的角度，阐述了恶意爬虫的"背景辐射"已恶化到何种程度： > 摘要：我们花费在为爬虫渲染提交记录的 CPU 周期，已超过所有其他合法访问（包括 git 克隆）的总和。在任意时刻，遍布全球的 5 个地理分布式节点中，始终有 14 个 CPU 核心仅用于将 git 提交记录渲染为 HTML 页面。 我从 Datasette 的角度对此深表忧虑——毕竟它提供了海量可爬取的网页。