标签
Scrapling 是一个网页抓取框架,能够绕过 Cloudflare 封锁,速度比 BeautifulSoup 快 774 倍,并能自动适应网站变化。它在 GitHub 上拥有 5.22 万星标,并支持作为 MCP 服务器与 AI 代理协作。
一条病毒式推文描述了一个商业模式:有人从App Store抓取废弃应用(下载量5万以上、18个月以上未更新),以2000-3000美元现金购买,雇佣菲律宾开发者进行更新和变现,年收入360万美元。原推文作者想采访这个人。
谷歌即将终止其面向特定网站的免费搜索索引服务(限制在50个域名以内),而Cloudflare和Go-Daddy则开始阻止AI爬虫抓取网络数据,这可能会影响依赖互联网访问的本地AI模型。