@heynavtoor: 一个获得六万星级的网络爬虫在几天内建成。由一个开发者完成。因为一个“16美元的开源”工具让他愤怒。六万多……

一个获得六万星级的网络爬虫在几天内建成。由一个开发者完成。因为一个“16美元的开源”工具让他愤怒。 六万多颗星。每月一百万次下载。免费。 2023年，他需要将一个网页转化为干净的文本供 AI 模型使用。他找到了一个“开源”工具。它要求注册账户、提供 API 令牌，还要支付16美元。仅仅为了将网页转换为 Markdown。 他进入了所谓的“暴怒模式”。在几天内构建了自己的版本。然后真正地开源了它。 他叫 Unclecode。在父亲给他的 Amstrad 电脑上长大，从小编程。研究生阶段专攻 NLP。创办了 Kidocode，东南亚最大的科技与商业学校。现居新加坡。 他愤怒之下构建的工具名为 Crawl4AI。它登上了 GitHub Trending 第一。Peak XV 投资支持。每月下载量超过一百万。 它的功能如下： 你提供一个 URL。它爬取页面。渲染 JavaScript。等待动态内容。然后将所有内容转化为干净、结构化的 Markdown，AI 模型能够轻松读取。 不是原始 HTML。不是杂乱的文本转储。而是带有标题、表格、代码块和引用的干净 Markdown。一个命令，几秒钟。 以下是开发者放弃付费替代方案的原因： Firecrawl 收费每月19到500美元。Crawl4AI 在基准测试中速度是它的6倍。免费。 ScrapingBee 收费每月49到599美元。Crawl4AI 在你的机器上运行。免费。 每个付费爬取工具都按页面、按请求、按 API 调用收费。计费器时刻在运行。 Crawl4AI 没有计费器。爬取一页或一百万页。花费0美元。 以下是六万开发者使用它的场景： RAG 管道。爬取文档。将干净的 Markdown 输入向量数据库。你的 AI 聊天机器人从真实来源回答。 竞争情报。监控竞品网站。自动提取定价和功能变更。 研究。爬取学术数据库。提取论文和引用，转化为结构化格式。 防机器人检测，支持自动代理升级。Shadow DOM 扁平化。深度爬取崩溃恢复。当数据收集足够时智能停止。 兼容 Claude、GPT、Gemini 以及通过 Ollama 运行的本地模型。 支持 Docker 部署，内置 Playground 界面。 Firecrawl：每月19到500美元。 ScrapingBee：每月49到599美元。 Crawl4AI：0美元。无限使用。你的硬件。Apache 2.0 许可。 六万多颗星。每月超过一百万次下载。Peak XV 投资支持。在新加坡构建。 愤怒是一种有效的工程动力。