花了一个下午让我的网站更AI友好。第二天AI流量增长了12倍

Reddit r/AI_Agents 新闻

摘要

一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫,次日AI流量增长了12倍。

我对我们的新落地页进行了一次超级详细的审计,看看它对AI代理的友好程度。评分只有9/100(网站才上线两周,所以并不伤心)。于是我花了一个下午修复审计报告中指出的所有问题。第二天,AI流量就出现了激增,并且持续了好几天。我仍在监控这些代理访问是否能带来真实的人类用户。但看到几个小时的投入就能让图表如此快速变化,这非常令人鼓舞,所以我想分享出我的检查清单。以下是我修复的项目,按顺序: 1. **AI可访问性** * 发布`robots.txt`,明确允许主流AI爬虫(GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBot) * 在`robots.txt`中添加`Content-Signal`指令和站点地图引用 * 提供带有`lastmod`字段的`sitemap.xml`,每个URL都有 * 根据llmstxt.org发布`llms.txt`(简版)和`llms-full.txt`(完整版) * 添加`AGENTS.md`来引导编码代理了解你的产品 * 在服务器端渲染页面,而不是仅客户端的单页应用(*SPA返回空白HTML;代理读取的是HTML,而非JavaScript*) 2. **品牌标识** * 全站嵌入JSON-LD的`Organization`和`WebSite`架构(名称、网址、Logo、描述) * 确保品牌字符串在`<title>`、`og:title`和组织`name`中完全一致(*不一致会导致品牌权威分散到重复内容中*) * 提供完整的Open Graph和Twitter Card元数据 3. **内容可读性** * 使用真正的语义HTML段落,带有合适的标题和正文(*代理只能引用其可解析的内容*) * 使用`display: swap`加载网络字体 4. **可引用性** * 在问答内容处嵌入`FAQPage` JSON-LD * 将内容分块为结构化区块(*便于代理提取可引用的片段*) 5. **平台适配** * 结合AI爬虫白名单、Content-Signal、`llms.txt`和FAQ架构,覆盖各平台的信号 6. **站点卫生** * 每个页面设置`<link rel="canonical">` * 包含元描述、关键词和作者 * 提供完整的favicon集合(favicon.ico、apple-icon、192px、512px) * 配置`robots`指令(index、follow、max-image-preview: large)
查看原文

相似文章

生成式AI网站流量份额

Reddit r/singularity

对生成式AI网站流量份额的分析,突出显示哪些平台正在增加或减少访客。

IndexedAI

Product Hunt

IndexedAI 是一款新产品,可为网站评估 AI Agent 兼容性得分并提供改进建议。