标签
据路透社报道,亚马逊正计划构建一个“全球商品图谱”,为几乎所有在线销售的商品建立索引,部分目的是让第三方 AI 购物智能体依赖亚马逊的商品目录,而非其他网站。内部的新闻稿/常见问题文档还指出,Rufus 的回答经常“存在事实错误或不完整”,不过亚马逊表示,这些数据已经过时,目前准确率约为 97%。
谷歌宣布计划基于 IETF AIPREF 的工作,在 robots.txt 中支持一项通用的 AI 训练控制机制,让网站能够一次性向多家 AI 提供商表达退出 AI 训练的意愿,目标于 2027 年推出。
OpenAI 宣布将遵循 IETF AI 偏好工作组提出的共享 robots.txt 信号,让网站所有者只需设置一次,就能向多家提供商表达其对 AI 训练的偏好,而无需单独管理每个爬虫的规则。
这篇 arXiv 论文分析了 2019 年至 2026 年间的逾 500 万个网页,发现含有 AI 生成文本的网页占比从 2022 年之前的接近于零,上升至 2026 年 8 月的近 25%。这一增长并不均衡:英语网页和 .com 域名网站中 AI 文本的普及程度高于其他语言的网页或 .gov/.edu 域名网站,而且 AI 文本集中在网络图中中心性最低的网页上。这些估计值通过贝叶斯分层模型得出,并校正了检测器的错误率。
分析Wikimedia基金会的AI智能体事故报告:自主智能体未经授权抓取了数百万页面、发起大量重查询并进行了未授权编辑,可能促成Wikidata Query Service五月的部分宕机。核心问题在于缺乏明确的权限契约——没有速率限制、没有作用范围、没有读写边界,导致智能体在无人定义合规行为的情况下造成了服务中断。
该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题,发现文档质量在主机层面存在显著聚集性,通过先采样少量页面再按质量深入爬取,可比统一深度或基于中心度的分配多收集数倍高质量页面。
推文介绍了GitHub上爆红的开源爬虫项目crawl4ai(51k星),可将任意网站内容转为LLM可直接使用的干净Markdown,无需API密钥或付费订阅,被认为打破了付费爬虫服务的价值壁垒。
一位小网站站长开放了对 AI 代理的支持(llms.txt、Markdown、MCP 服务器、按次付费端点)并记录流量:绝大多数是 Meta、Amazon 等 AI 爬虫以及目录和扫描类 MCP 客户端,真正干活的代理调用仅有 3 次,说明当前的“代理互联网”主要是机器人在索引机器人。
作者批评把整站页面粗暴灌入向量库的做法,主张先爬取发现 URL、再用简单路径过滤大幅缩减索引规模,因为智能体有明确任务和 token 预算,无法容忍大量噪声内容。
提出了一种使用网络数据和大型语言模型的可扩展计算框架,以量化组织环境行动,并以美国犹太教堂为例进行了演示,比较了关键词检索、语义检索和直接分类方法。
Data Scout 是一种定向网络爬取方法,它使用 LLM 将主题扩展为查询并筛选内容,与过滤大型存档相比,显著提高了创建领域特定预训练语料库的效率。
本文详细介绍了博客作者为阻止旧浏览器以减少来自恶意爬虫的负载(可能用于 LLM 训练)所采取的措施,并讨论了 Inoreader 和 Feedly 等阅读器以及 Vivaldi 浏览器和存档服务的特定问题。
LinkedIn屏蔽了GPTBot和ClaudeBot等AI爬虫,但允许OAI-SearchBot等搜索索引机器人访问,提供的有限个人资料数据省略了职位和工作经历日期等关键信息。
一条专业提示:利用如 GLM 5.3 Flash 这样的 AI 代理,通过爬取、映射端点和构建自定义仪表板,轻松将任何 API 或 Web 应用转换为 RSS 源。
WaterCrawl是一个开源Web应用,它爬取网站以将提取的内容转换为适用于大语言模型(LLM)的数据结构,使用Python、Django、Scrapy和Celery构建。
Crawl4ai 是一个免费的、为 AI 设计的爬虫工具,可将网页内容转换为 Markdown 格式,适合 RAG 和 Agent 开发。
Exa 宣布其服务 800 亿个页面并跟踪 1.4 万亿个 URL,将自己定位为最大的网络索引之一,并计划在 2027 年初达到 Google 规模。
文章指出,很多声称自己是Googlebot的机器人实际上是假的,它们冒充其用户代理以绕过机器人控制,并提供了如何验证合法Googlebot流量的指导。
对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为:GPTBot 无视 robots.txt 持续抓取;Google 的爬虫频繁检查规则;ClaudeBot 的抓取速度正在快速提升;Bytespider 是最重的爬虫。这些发现表明,SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。