crawling

CrawlRaven 是一个 SEO 中心，集成了 Google Search Console、Google Analytics 4 和 200 点爬取，用于全面的网站分析。

Marginalia Search 从 Docker 迁移到 systemd，以改进 NUMA 处理和网络配置，引入了无排名查询端点，并通过单独索引宽域来提升爬取时间。

Olostep 是一个网页数据 API，能够大规模提取、爬取和结构化网页数据，专为 AI 团队、数据管道和自动化设计。

本文分类整理了14个爬虫工具，分为AI新物种、工程级框架、浏览器自动化、国内平台专用和现代轻量型五类，并附有真实案例和选型建议。

本文探讨了爬取BitTorrent分布式哈希表（DHT）的技术，用于监控和分析对等节点活动，并对安全性与隐私产生影响。

一条推特帖子推广了crawl4ai，这是一个专为LLM设计的开源网络爬取工具，可将任何URL转换为LLM可用的markdown格式，与Firecrawl、ScrapingBee和Apify等付费服务相比，它提供免费无限访问。

精心挑选的顶级GitHub仓库列表，用于无被屏蔽风险的网页抓取，包括Crawl4AI、Firecrawl、Scrapy等，并重点介绍了Crawl4AI这个开源、对LLM友好的网络爬虫。