花了一个下午让我的网站更AI友好。第二天AI流量增长了12倍
摘要
一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫,次日AI流量增长了12倍。
我对我们的新落地页进行了一次超级详细的审计,看看它对AI代理的友好程度。评分只有9/100(网站才上线两周,所以并不伤心)。于是我花了一个下午修复审计报告中指出的所有问题。第二天,AI流量就出现了激增,并且持续了好几天。我仍在监控这些代理访问是否能带来真实的人类用户。但看到几个小时的投入就能让图表如此快速变化,这非常令人鼓舞,所以我想分享出我的检查清单。以下是我修复的项目,按顺序:
1. **AI可访问性**
* 发布`robots.txt`,明确允许主流AI爬虫(GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBot)
* 在`robots.txt`中添加`Content-Signal`指令和站点地图引用
* 提供带有`lastmod`字段的`sitemap.xml`,每个URL都有
* 根据llmstxt.org发布`llms.txt`(简版)和`llms-full.txt`(完整版)
* 添加`AGENTS.md`来引导编码代理了解你的产品
* 在服务器端渲染页面,而不是仅客户端的单页应用(*SPA返回空白HTML;代理读取的是HTML,而非JavaScript*)
2. **品牌标识**
* 全站嵌入JSON-LD的`Organization`和`WebSite`架构(名称、网址、Logo、描述)
* 确保品牌字符串在`<title>`、`og:title`和组织`name`中完全一致(*不一致会导致品牌权威分散到重复内容中*)
* 提供完整的Open Graph和Twitter Card元数据
3. **内容可读性**
* 使用真正的语义HTML段落,带有合适的标题和正文(*代理只能引用其可解析的内容*)
* 使用`display: swap`加载网络字体
4. **可引用性**
* 在问答内容处嵌入`FAQPage` JSON-LD
* 将内容分块为结构化区块(*便于代理提取可引用的片段*)
5. **平台适配**
* 结合AI爬虫白名单、Content-Signal、`llms.txt`和FAQ架构,覆盖各平台的信号
6. **站点卫生**
* 每个页面设置`<link rel="canonical">`
* 包含元描述、关键词和作者
* 提供完整的favicon集合(favicon.ico、apple-icon、192px、512px)
* 配置`robots`指令(index、follow、max-image-preview: large)
相似文章
开发者厌恶AI,但我本周用它卖掉了10个网站。
尽管开发者们持怀疑态度,但作者利用AI在一周内成功销售了10个网站,凸显了AI工具的实用商业价值。
生成式AI网站流量份额
对生成式AI网站流量份额的分析,突出显示哪些平台正在增加或减少访客。
我向 AI 智能体开放了我的小网站,并记录了谁来访问。结果大多是机器人在索引其他机器人。
一位小网站站长开放了对 AI 代理的支持(llms.txt、Markdown、MCP 服务器、按次付费端点)并记录流量:绝大多数是 Meta、Amazon 等 AI 爬虫以及目录和扫描类 MCP 客户端,真正干活的代理调用仅有 3 次,说明当前的“代理互联网”主要是机器人在索引机器人。
AI正在吞噬互联网
AI导致在线内容为机器优化,引发数据抓取和原始网站流量下降,用合成替代品取代人类内容。
IndexedAI
IndexedAI 是一款新产品,可为网站评估 AI Agent 兼容性得分并提供改进建议。