crawler

用户称赞一款数据抓取工具，除了小红书接口偶尔需要更新外，基本能满足各种抓取需求。

作者描述了他们的蜜罐网站如何通过提供虚假的 git 仓库数据捕获了一个 .git/config 爬虫，并分析了显示单个 IP 地址大量爬取活动的 Apache 日志。

AnyCrawl 是一款高性能开源爬虫/抓取工具，集成了 Cheerio、Playwright、Puppeteer 三种引擎，支持静态解析与 JS 渲染、SERP 批量抓取、站点级爬虫、多线程/多进程并发、代理支持，并针对 LLM 数据采集优化输出格式。

MediaCrawler是一个多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎的公开内容抓取，利用浏览器登录态绕过JS逆向，降低技术门槛。

这篇文章介绍了10个用于网络爬虫的GitHub开源仓库，包括Firecrawl、Crawl4AI等，能够从网站提取干净数据，支持AI就绪的格式。

一款名为 Crawl4AI 的开源网络爬虫工具爆火，它提供免费且对 LLM 友好的抓取功能，包括 JavaScript 渲染、异步爬取和清晰的结构化输出，与 Firecrawl 等付费服务形成对比。

datasette-ip-rate-limit 0.1a0 是一个可配置的限流插件，用于 Datasette，旨在阻止恶意的爬虫。

MediaCrawler是一个开源的多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取，基于Playwright浏览器自动化实现，无需JS逆向。