scraping

在生产环境中使用 Node.js 运行 Playwright 爬虫时，大约20个并发浏览器会话开始失败，导致内存飙升和崩溃。开发者指出文档中没有关于此限制的警告。

一位开发者分享了他使用 n8n 和 OpenAI API 自动化客户拓展的经历，指出理解要自动化什么比实现自动化更难。

Tavily CLI 是一个命令行工具，为AI智能体提供网络搜索、提取、爬取和研究功能，返回结构化的JSON输出，便于直接解析。

Intuned 是一个由 YC 支持的工具，它利用 AI 智能体构建、部署和维护基于 Playwright 的浏览器自动化，处理数据抓取、RPA 和爬虫任务，并内置反检测和身份验证功能。

Scrapling 是一个网页抓取框架，能够绕过 Cloudflare 封锁，速度比 BeautifulSoup 快 774 倍，并能自动适应网站变化。它在 GitHub 上拥有 5.22 万星标，并支持作为 MCP 服务器与 AI 代理协作。

一条病毒式推文描述了一个商业模式：有人从App Store抓取废弃应用（下载量5万以上、18个月以上未更新），以2000-3000美元现金购买，雇佣菲律宾开发者进行更新和变现，年收入360万美元。原推文作者想采访这个人。

谷歌即将终止其面向特定网站的免费搜索索引服务（限制在50个域名以内），而Cloudflare和Go-Daddy则开始阻止AI爬虫抓取网络数据，这可能会影响依赖互联网访问的本地AI模型。

SocLeads 3.0 是一款根据位置从社交媒体和地图中抓取电子邮箱的工具。