web-crawlers

Wellcome Collection 介绍了 2026 年年中 AI 相关爬虫流量激增以及机器人洪泛对其数字馆藏造成的压力，以及他们如何通过更新 robots.txt、CDN 限流和流量压缩来应对。文章详细描述了不断升级的自动化流量浪潮，其中包括类似僵尸网络的洪泛攻击，以及为保持其开放目录和 API 正常上线所做的工程工作。

文章讨论了屏蔽旧浏览器用户代理以减少爬虫负载的挑战，并为受影响的订阅阅读器和归档服务提供了具体说明。

本文描述了信誉良好的网站屏蔽AI爬虫如何迫使AI模型依赖低质量的AI生成内容，导致事后引用和基础设施级别的确认偏误等问题，并提供了更好验证来源的建议。

Cloudflare 宣布一项新设置，允许网站所有者在保持搜索引擎可发现性的同时选择退出AI训练，Apple、Google 和 Microsoft 承诺遵守该设置。

Konstantin Ryabitsev 讨论了恶意网络爬虫如何在git.kernel.org上消耗过多CPU资源，影响合法访问，并引发对如Datasette等服务的担忧。