web-crawler

OpenClaw搭配Cockroach Crawler将一个AI代理转变为一个强大的网络研究机器，能够爬取JavaScript密集型页面、提取结构化数据、生成PDF和截屏，且无需为许多公共来源设置单独的API密钥。

Unclecode 创建了 Crawl4AI，一款免费开源网络爬虫，能将网页转换为干净的 Markdown 格式供 AI 模型使用，起因是对付费替代方案感到不满；该项目已获得 60,000 个 GitHub Star，月下载量超过一百万。

Crawl4AI 是一个专为 LLM 优化的开源爬虫，可将网页内容转换为干净的结构化 Markdown，支持智能内容过滤、LLM 驱动提取、浏览器自动化等功能，适合 RAG 和 AI Agent 场景。

Agentmap 是一个开源工具，可爬取任何网站并将其转换为页面、流程和数据的结构化地图，使编码代理（如 Claude Code、Cursor）跳过盲目探索，直接执行任务，节省令牌。

介绍ScrapeGraphAI，一个基于LLM的爬虫工具，能用自然语言描述需求并自动生成抓取流程，无需编写选择器或关心HTML结构，支持本地模型和多种集成平台。

描述了构建一个网络爬虫，从酒店网站提取内容，使用AI智能体生成结构化的常见问题，并将其存储在向量数据库中，实现知识库的自动创建。

Amazonbot，亚马逊的网络爬虫机器人，现已遵守robots.txt指令，这标志着其先前行为的改变。