anti-blocking

精心挑选的顶级GitHub仓库列表，用于无被屏蔽风险的网页抓取，包括Crawl4AI、Firecrawl、Scrapy等，并重点介绍了Crawl4AI这个开源、对LLM友好的网络爬虫。