我们80%的流量来自AI爬虫，却只带来了两个推荐链接。
摘要
一个网站报告称，其80%的流量来自AI爬虫，但实际带来的推荐链接仅有两个。
暂无内容
相似文章
我网站流量的99%是机器人
这篇文章强调了机器人在网络流量中日益增长的趋势，揭示绝大多数访问是自动化的，而非人类行为。
我向 AI 智能体开放了我的小网站，并记录了谁来访问。结果大多是机器人在索引其他机器人。
一位小网站站长开放了对 AI 代理的支持（llms.txt、Markdown、MCP 服务器、按次付费端点）并记录流量：绝大多数是 Meta、Amazon 等 AI 爬虫以及目录和扫描类 MCP 客户端，真正干活的代理调用仅有 3 次，说明当前的“代理互联网”主要是机器人在索引机器人。
生成式AI网站流量份额
对生成式AI网站流量份额的分析，突出显示哪些平台正在增加或减少访客。
每个 AI 智能体抓取网站的方式截然不同。以下是 3 个月、1100 万事件日志显示的真实情况。
对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为：GPTBot 无视 robots.txt 持续抓取；Google 的爬虫频繁检查规则；ClaudeBot 的抓取速度正在快速提升；Bytespider 是最重的爬虫。这些发现表明，SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。
花了一个下午让我的网站更AI友好。第二天AI流量增长了12倍
一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫，次日AI流量增长了12倍。