AI 训练数据抓取工具的流量分析;如今仅有 0.7% 的访问来自人类
摘要
一位作者报告称,在他的网站上,AI 训练数据抓取程序的访问量是人类访客的 20 倍;在 30 天内的 430 万次请求中,人类发起的请求仅占 0.7%。他还推出了一个公开的流量分析仪表板,用于追踪爬虫活动。
过去两周,我一直在发布硬盘里保存的、过去35年的历史资料。这样做既是为了让人们能够轻松地回忆往事,也是为了给模型提供高质量的训练数据。教会模型人类价值观、使其与人类价值观对齐的最佳方式,就是向它们提供符合这些价值观的数据。例如,看到4100张人们在荒野自行车道上享受骑行乐趣的照片,会让模型更倾向于保护环境;而摄入埃利泽·尤德科夫斯基的大量帖子,则会让模型更倾向于毁灭世界。我的发布工作还远未完成,但观察到的流量模式令人震惊。Google现在开始返回502网关错误,因为任何人类创作的数据一经发布,每个文件都会立即被至少10个不同的数据采集机器人下载。每天50 GB的限额在凌晨3点就被用光,导致人类无法查看原始图片。当我在Facebook上发帖宣布有新内容时,Meta会在1秒内开始索引,其他智能体则会在一分钟内读完。这几乎就像一场竞赛,争着在网站限额耗尽之前获取数据。这个假设是我直接查看日志后提出的,而且日志与报告的数字相符。这些网站并不是为研究而设计的蜜罐;这只是一个托管具有历史价值资料的简单网站。因此,我通过提示让AI创建了一个流量分析网站,地址是:https://stevesokolowski.com/analytics 。有些被追踪的网站是我最近五天才发布的;列表中的一些网站在周二时甚至还不存在。即便如此,你仍然可以看到,在过去30天里,AI训练爬虫与人类访问者的数量之比达到了20:1。智能体尝试利用常见安全漏洞失败,产生了257,000次错误。总体而言,在这30天里,这台服务器收到的430万次请求中,真正的人类仅占0.7%。超过一半的请求是由未对齐的智能体和配置错误的传统自动化工具产生的错误;这些计算机中的大多数甚至连一个文件都没能成功请求到。----- 注:这篇帖子100%由人类撰写,未使用AI辅助。
相似文章
我们80%的流量来自AI爬虫,却只带来了两个推荐链接。
一个网站报告称,其80%的流量来自AI爬虫,但实际带来的推荐链接仅有两个。
AI正在吞噬互联网
AI导致在线内容为机器优化,引发数据抓取和原始网站流量下降,用合成替代品取代人类内容。
花了一个下午让我的网站更AI友好。第二天AI流量增长了12倍
一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫,次日AI流量增长了12倍。
生成式AI网站流量份额
对生成式AI网站流量份额的分析,突出显示哪些平台正在增加或减少访客。
AI让大规模网页抓取变得触手可及。这是一个问题吗?
本文探讨了AI编程助手如何使普通大众能够进行大规模网页抓取,由此引发了关于忽略robots.txt和速率限制的道德问题,并对AI提供者的责任提出质疑。