Web搜索正在遭遇严重的性能瓶颈:谷歌关闭免费搜索索引,Cloudflare等流量防御者处处挑战AI。我们还有哪些选择?

Reddit r/LocalLLaMA 新闻

摘要

谷歌即将终止其面向特定网站的免费搜索索引服务(限制在50个域名以内),而Cloudflare和Go-Daddy则开始阻止AI爬虫抓取网络数据,这可能会影响依赖互联网访问的本地AI模型。

谷歌将其免费层级限制为仅支持50个域名的站点特定搜索,并于2027年1月1日正式生效,高级搜索的公开定价尚未公布。Cloudflare的新默认设置是挑战所有试图为其客户抓取网络信息的AI爬虫,包括最近与Go-Daddy合作后,所有由Go-Daddy托管的域名也适用此策略。过去几个月里,有些人可能已经感受到了变化:曾经高效的网络搜索如今在每次访问时都会返回400错误,导致无法正常获取信息。本地模型可能因互联网数据抓取能力受限而效能下降。毫无疑问,**谷歌**正在通过提高准入门槛来加固护城河。这是意图通过破坏基础依赖服务,直接对开放服务生态进行围堵。作为社区成员,我们手中还有哪些可选方案?目前有没有开源项目正在挑战这一现状?填补这一空白很可能成为下一个进入市场的重大"开放"项目,因为随着我们持续改进数据处理能力,这些问题的解决方案将逐渐成为关键依赖。
查看原文

相似文章

AI正在永远改变互联网。方式如下

Reddit r/artificial

CNN报道了AI如何改变互联网搜索,谷歌对其搜索引擎进行重大更新以处理更长、更复杂的查询,用户也越来越多地使用ChatGPT等AI工具进行搜索。