花了一个下午让我的网站更AI友好。第二天AI流量增长了12倍
摘要
一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫,次日AI流量增长了12倍。
我对我们的新落地页进行了一次超级详细的审计,看看它对AI代理的友好程度。评分只有9/100(网站才上线两周,所以并不伤心)。于是我花了一个下午修复审计报告中指出的所有问题。第二天,AI流量就出现了激增,并且持续了好几天。我仍在监控这些代理访问是否能带来真实的人类用户。但看到几个小时的投入就能让图表如此快速变化,这非常令人鼓舞,所以我想分享出我的检查清单。以下是我修复的项目,按顺序:
1. **AI可访问性**
* 发布`robots.txt`,明确允许主流AI爬虫(GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBot)
* 在`robots.txt`中添加`Content-Signal`指令和站点地图引用
* 提供带有`lastmod`字段的`sitemap.xml`,每个URL都有
* 根据llmstxt.org发布`llms.txt`(简版)和`llms-full.txt`(完整版)
* 添加`AGENTS.md`来引导编码代理了解你的产品
* 在服务器端渲染页面,而不是仅客户端的单页应用(*SPA返回空白HTML;代理读取的是HTML,而非JavaScript*)
2. **品牌标识**
* 全站嵌入JSON-LD的`Organization`和`WebSite`架构(名称、网址、Logo、描述)
* 确保品牌字符串在`<title>`、`og:title`和组织`name`中完全一致(*不一致会导致品牌权威分散到重复内容中*)
* 提供完整的Open Graph和Twitter Card元数据
3. **内容可读性**
* 使用真正的语义HTML段落,带有合适的标题和正文(*代理只能引用其可解析的内容*)
* 使用`display: swap`加载网络字体
4. **可引用性**
* 在问答内容处嵌入`FAQPage` JSON-LD
* 将内容分块为结构化区块(*便于代理提取可引用的片段*)
5. **平台适配**
* 结合AI爬虫白名单、Content-Signal、`llms.txt`和FAQ架构,覆盖各平台的信号
6. **站点卫生**
* 每个页面设置`<link rel="canonical">`
* 包含元描述、关键词和作者
* 提供完整的favicon集合(favicon.ico、apple-icon、192px、512px)
* 配置`robots`指令(index、follow、max-image-preview: large)
相似文章
开发者厌恶AI,但我本周用它卖掉了10个网站。
尽管开发者们持怀疑态度,但作者利用AI在一周内成功销售了10个网站,凸显了AI工具的实用商业价值。
生成式AI网站流量份额
对生成式AI网站流量份额的分析,突出显示哪些平台正在增加或减少访客。
IndexedAI
IndexedAI 是一款新产品,可为网站评估 AI Agent 兼容性得分并提供改进建议。
每个 AI 智能体抓取网站的方式截然不同。以下是 3 个月、1100 万事件日志显示的真实情况。
对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为:GPTBot 无视 robots.txt 持续抓取;Google 的爬虫频繁检查规则;ClaudeBot 的抓取速度正在快速提升;Bytespider 是最重的爬虫。这些发现表明,SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。
我们80%的流量来自AI爬虫,却只带来了两个推荐链接。
一个网站报告称,其80%的流量来自AI爬虫,但实际带来的推荐链接仅有两个。