Web搜索正在遭遇严重的性能瓶颈:谷歌关闭免费搜索索引,Cloudflare等流量防御者处处挑战AI。我们还有哪些选择?
摘要
谷歌即将终止其面向特定网站的免费搜索索引服务(限制在50个域名以内),而Cloudflare和Go-Daddy则开始阻止AI爬虫抓取网络数据,这可能会影响依赖互联网访问的本地AI模型。
谷歌将其免费层级限制为仅支持50个域名的站点特定搜索,并于2027年1月1日正式生效,高级搜索的公开定价尚未公布。Cloudflare的新默认设置是挑战所有试图为其客户抓取网络信息的AI爬虫,包括最近与Go-Daddy合作后,所有由Go-Daddy托管的域名也适用此策略。过去几个月里,有些人可能已经感受到了变化:曾经高效的网络搜索如今在每次访问时都会返回400错误,导致无法正常获取信息。本地模型可能因互联网数据抓取能力受限而效能下降。毫无疑问,**谷歌**正在通过提高准入门槛来加固护城河。这是意图通过破坏基础依赖服务,直接对开放服务生态进行围堵。作为社区成员,我们手中还有哪些可选方案?目前有没有开源项目正在挑战这一现状?填补这一空白很可能成为下一个进入市场的重大"开放"项目,因为随着我们持续改进数据处理能力,这些问题的解决方案将逐渐成为关键依赖。
相似文章
Cloudflare 即将默认屏蔽五分之一的网络上的AI代理。我在科技圈外交谈的人中没人知道这件事即将发生。为什么没人讨论它?
Cloudflare 将从9月15日起默认在广告支持的页面上屏蔽AI代理和训练机器人,并引入机器人身份验证。这可能对AI开发者和较小参与者的网络访问产生重大影响。
Cloudflare 新政策迫使 AI 公司为出版商内容付费
Cloudflare 宣布一项新的默认政策,自 2026 年 9 月起,阻止从广告托管页面使用混合用途网络爬虫,旨在迫使 AI 公司为出版商内容付费,并区分搜索引擎与 AI 训练。
DuckDuckGo 让‘无AI’搜索引擎更易访问,流量飙升
DuckDuckGo 发布适用于 Chrome 和 Firefox 的新浏览器扩展,将无 AI 搜索设为默认,利用用户对 Google 以 AI 为先的搜索改版的不满,流量较基线激增 80% 以上。
六款值得一试的搜索引擎——既然谷歌已不再是原来的谷歌
谷歌正在用对话式AI方法彻底改造搜索,促使许多用户寻找替代品。文章重点介绍了六款搜索引擎,如Kagi和DuckDuckGo,它们提供无广告或注重隐私的选项。
AI正在永远改变互联网。方式如下
CNN报道了AI如何改变互联网搜索,谷歌对其搜索引擎进行重大更新以处理更长、更复杂的查询,用户也越来越多地使用ChatGPT等AI工具进行搜索。