标签
对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为：GPTBot 无视 robots.txt 持续抓取；Google 的爬虫频繁检查规则；ClaudeBot 的抓取速度正在快速提升；Bytespider 是最重的爬虫。这些发现表明，SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。