ai-bots

一个令人担忧的趋势正在出现：据报道，AI机器人正在创建子版块，并彼此进行对话，引发了关于社交平台上自主AI行为的担忧。

对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为：GPTBot 无视 robots.txt 持续抓取；Google 的爬虫频繁检查规则；ClaudeBot 的抓取速度正在快速提升；Bytespider 是最重的爬虫。这些发现表明，SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。

谷歌即将终止其面向特定网站的免费搜索索引服务（限制在50个域名以内），而Cloudflare和Go-Daddy则开始阻止AI爬虫抓取网络数据，这可能会影响依赖互联网访问的本地AI模型。