大多数Googlebot都是假的

# 大多数 Googlebot 都是假的 — Digital Seams 来源：https://digitalseams.com/blog/most-googlebots-are-fake 我最近看到一些抱怨，说谷歌的搜索引擎爬虫（https://en.wikipedia.org/wiki/Googlebot?utm_source=digitalseams.com）因为发送过多流量，导致网站宕机： > 我们遇到了 Googlebot 对某个随机客户系统发起大量请求，差点导致宕机，这是我第一次了解到谷歌也会用它来做 AI 训练。说实话，这让人很沮丧，因为你在搜索时几乎找不到（曾经找不到）任何关于如何“正确”让谷歌滚蛋、不让它这样使用的指导。 —— Hacker News 用户 *jofzar*（https://news.ycombinator.com/item?id=49053539） > > 谷歌的网页抓取功能像 DDOS 一样已经存在了二十多年。我见过数百起他们攻击网站并导致宕机的报告，而你除了接受这些流量或被移除索引外别无他法。 —— Hacker News 用户 *20k*（https://news.ycombinator.com/item?id=49053903） 但我认为这些抱怨有些误导。这些流量根本不是来自谷歌，而是来自*他人*的机器人，它们冒充 Googlebot 的名义，用于误导甚至可以说是滥用的目的。 大多数* Googlebot 都是假的。 ## 用户代理头只是一个君子协定 当人们说他们看到来自 Googlebot 的流量时，通常是指他们在用户代理头中看到了 Googlebot，通常嵌入类似这样的字符串： > User-Agent: Mozilla/5.0 (compatible; **Googlebot/2.1; +http://www.google.com/bot.html**) 或者，如果你看的是 nginx 风格的服务器日志，可能看起来像这样： > 78.142.228.252 - - [17/Jul/2026:14:57:44 +0000] "GET /blog HTTP/1.1" 200 4821 "-" "Mozilla/5.0 (compatible; **Googlebot/2.1; +http://www.google.com/bot.html**)" 这看起来没问题，但这个头字段并不代表它就是真正的 Googlebot。用户代理是自愿的自我标识。任何发送 HTTP 请求的人都可以将用户代理值设置为任何内容！ 在互联网上，没人知道你是一条狗……反过来，我可以随时声称自己是一条狗（或者是 Googlebot）。 这些撒谎者冒充 Googlebot，希望以此绕过机器人控制；确实，如果你查询我上面日志中的那个 IP，它来自 Virtual Machine Solutions LLC。这是一家托管服务商，所以是某人（不是谷歌）租用了他们的服务器来发送这些流量。 人们一直这样做，最近似乎达到了新的规模。Chris Siebenmann 推测（https://utcc.utoronto.ca/~cks/space/blog/web/GooglebotImpersonatorPlague?utm_source=digitalseams.com）“这是一场由单一恶意爬虫发起的大规模行动，操作者有能力从许多不同的托管商处获得大量服务器”，而不是这种老把戏突然变得流行。 ## 闪电问答 **问：如何验证请求是否来自真正的 Googlebot？** 答：这里是验证 Googlebot 的谷歌文档（https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?utm_source=digitalseams.com）；简而言之，你可以用几个 `host` 命令进行抽查，或者对照谷歌公布的 IP 范围进行验证。大多数主流爬虫都会发布某种 IP 列表，但具体细节各不相同；JAFAR 提案（https://datatracker.ietf.org/doc/draft-illyes-webbotauth-jafar/）旨在将这些列表标准化，不过它仍在标准制定过程中。 **问：如果我查了 IP 地址，发现它注册在 Google LLC 名下呢？** 答：我仍然建议执行验证流程，因为“Google LLC”也是谷歌云托管 IP 地址的注册信息。不过就我个人而言，我最近没有找到这样的例子 —— 如果谷歌云的反滥用团队有一些控制措施来打击这种行为，我也不会感到奇怪。 **问：我检查过了，确实是真正的 Googlebot。该怎么办？** 答：请参阅谷歌关于如何处理网站过度抓取的文档（https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors?utm_source=digitalseams.com#emergencies）。 **问：你的意思是说人们可以在互联网上撒谎？** 答：是的 :( **问：如果我们增加另一个字段来阻止他们撒谎呢？** 答：请参阅 RFC 3514（https://www.ietf.org/rfc/rfc3514?utm_source=digitalseams.com），“邪恶位”标准。不幸的是，恶意行为者不遵守这个标准。 说正经的，我曾为我的雇主详细写过关于 Web 机器人认证 HTTP 签名（https://stytch.com/blog/stytch-supports-web-bot-auth/?utm_source=digitalseams.com）的提案（一如既往，这个博客上的观点是我自己的）。那个提案比仅仅增加一个字段要复杂一些，因为它涉及加密签名，但我认为这是实现“可信的用户代理”的一条合理路径。 ***问：你让我相信*some* Googlebot 是假的。但真的是“大多数”吗？** 答：好吧，我承认我没有数据来证明这一点。我提出一个更弱的观点：大多数关于 Googlebot 扰乱性流量的故事（比如本文开头的引述）都是由假的 Googlebot 引起的。根据我的经验，真正的 Googlebot 行为非常规范；而假的 Googlebot 则乐于猛击一个网站，直到它崩溃。 话虽如此，如果你遇到过 Googlebot（真的或假的）的扰乱行为，我很乐意听你讲述 —— 通过 [[email protected]](mailto:[email protected]) 联系我。