@tom_doerr: 将网站转换为干净的 Markdown 和 JSON,供 AI 代理和 RAG 管道使用。https://github.com/0xMassi/webclaw
摘要
webclaw 是一款开源工具,可将网站转换为干净的 Markdown、JSON 和 LLM 就绪上下文,提供 CLI、MCP 服务器、REST API 和 SDK,适用于 AI 代理和 RAG 管道。
查看缓存全文
缓存时间: 2026/08/11 09:45
English | 简体中文
webclaw
将网站转换为干净的 Markdown、JSON 和 LLM 就绪上下文。为 AI 代理和 RAG 管道提供 CLI、MCP 服务器、REST API 和 SDK。
相似文章
@tom_doerr: Converts web URLs, PDFs, and media files into clean Markdown, automatically stripping ads and navigation while supporti…
PullMD is a self-hosted URL-to-Markdown service for humans and AI agents, converting web pages, PDFs, and media files into clean Markdown, with support for an MCP server and Claude Code skill.
@IndieDevHailey: Crawl4AI:7万星开源神器,把网页秒变LLM能吃的干净Markdown! 再见付费爬虫!零API Key,几秒出结构化数据,专为RAG、Agent、数据管道而生。 超干净输出:智能去噪、表格/代码/引用全保留,LLM直接喂 真快:异…
Crawl4AI 是一个开源的网页爬虫工具,能将网页内容转换为干净的 Markdown 格式,专为 LLM 的 RAG、Agent 和数据管道设计。零 API Key,快速输出结构化数据。
Website to Markdown API
Website to Markdown API 是一款开发者工具,可将任意网站转换为整洁、可直接用于 LLM 的 Markdown,从而轻松将网页内容输入 AI 模型。
面向 LLM 的 Markdown 浏览器
作者介绍了 TextWeb,这是一个开源工具,它将网页渲染为 Markdown 格式供 LLM 处理,而非使用昂贵的大视觉模型,该工具支持命令行界面 (CLI) 和 MCP 服务器。
哪种网络搜索API能为本地RAG解析提供最干净的Markdown输出?
针对为本地RAG管线提供干净Markdown输出的需求,本文比较了多种网络搜索API与工具(包括Brave Search、Parallel AI、You.com、Exa、Tavily、Firecrawl、Jina Reader以及SearXNG),评估它们在信噪比和开发者开销方面的表现。