Claude Code终极爬虫手册：5大开源Skill让AI真正会上网干活

想让Claude别再只是聊天工具，而是直接上手抓数据、操作网页、批量处理内容？下面这套组合就是最实用的方案。

我把方案整理成这份手册，可以直接复制给Claude Code，Cursor，Codex使用。顺序从日常最常用排到重度操作，零门槛。

1.日常80%需求：社媒与公开内容一键抓取

工具：Agent-reach 地址：http://github.com/Panniantong/agent-reach…

轻量CLI工具，专给AI Agent准备。支持小红书、X、抖音、YouTube、公众号、Reddit、Bilibili等主流平台。 本地cookie加上免费搜索，就能快速读内容、提取视频字幕、转RSS，还能把网页转成干净Markdown。

大多数时候我们只是想快速看讨论、刷笔记、抓公开信息，完全不用打开浏览器。直接用自然语言指挥Claude就行。

2.结构化数据+反爬场景：自适应抓取框架

工具：Scrapling 地址：http://github.com/D4Vinci/Scrapling…

网页抓取里的变形专家。支持静态HTTP、JS渲染、隐身反爬三种模式，能绕过Cloudflare、Turnstile等防护。 最强的是自适应元素定位，即使网站改版了，它也能通过相似度算法自动重新匹配字段，几乎不会失效。

适用场景：批量抓产品列表、课程资料、竞品信息。并发加代理轮换，速度快得离谱，几千个元素提取只要毫秒级。

3.需要登录后操作：让AI像真人一样动手

工具：Browser-use 地址：http://github.com/browser-use/browser-use…

让Claude直接驱动浏览器，自动点击、填表、滚动、完成多步任务。支持一键加载你本地Chrome的已登录用户数据目录，天然带登录态。

亮点：AI会自己判断下一步该干啥，适合投简历、操作后台系统、飞书填表这类重复流程。

4.复杂认证或需要监督：官方可视化扩展

工具：Claude in Chrome 官网：http://claude.ai/chrome

Anthropic官方Chrome插件，把Claude直接塞进真实浏览器。你能实时看到它在页面上点击、填写、滚动。 特别适合要验证码、多重验证或者人工确认的场景。

5.最高阶全场景接管：智能调度日常Chrome

工具：Web-access 地址：http://github.com/eze-is/web-access…

三层智能通道（搜索/抓取/curl/CDP），自动挑最优方式。重度任务时直接通过Chrome DevTools Protocol接管你日常用的Chrome，带登录态、书签、历史记录，还支持子Agent并行操作不同标签页。

为什么放最后？它最强，但也最重，只有前面几个不够用时才上。

实战配置心法（直接复制给agent执行）

1.严格顺序：Agent-reach→Scrapling→Browser-use→Claude in Chrome→Web-access。能CLI解决的绝不开浏览器。

2.安全第一：所有cookie只存本地，复杂任务挂代理，用独立小号操作。

3.一键部署：把这篇手册直接发给你的Claude Agent，让它帮你依次安装、配置、测试。

4.后续收尾：爬完数据后接Obsidian/Notion，让AI自动总结、翻译、打标签，变成自己的知识库。

用这套方案爬一个完整网站，后台自动拉文档、视频，AI再翻译加字幕，最后一键导入本地笔记库，整个过程快得飞起。

这套Skill把Claude直接升级成能上网、能操作、能思考的数字员工。无论做数据调研、竞品分析还是内容监控，都能直接用起来。

先挑最轻量的工具，够用就停，这样既省资源、又省token，还不容易踩坑。

Panniantong/agent-reach

Source: https://github.com/Panniantong/agent-reach

👁️ Agent Reach

给你的 AI Agent 一键装上互联网能力

快速开始 · English · 日本語 · 한국어 · 支持平台 · 设计理念

为什么需要 Agent Reach？

AI Agent 已经能帮你写代码、改文档、管项目——但你让它去网上找点东西，它就抓瞎了：

• 📺 “帮我看看这个 YouTube 教程讲了什么” → 看不了，拿不到字幕
• 🐦 “帮我搜一下推特上大家怎么评价这个产品” → 搜不了，Twitter API 要付费
• 📖 “去 Reddit 上看看有没有人遇到过同样的 bug” → 403 被封，服务器 IP 被拒
• 📕 “帮我看看小红书上这个品的口碑” → 打不开，必须登录才能看
• 📺 “B站上有个技术视频，帮我总结一下” → 连不上，海外/服务器 IP 被屏蔽
• 🔍 “帮我在网上搜一下最新的 LLM 框架对比” → 没有好用的搜索，要么付费要么质量差
• 🌐 “帮我看看这个网页写了啥” → 抓回来一堆 HTML 标签，根本没法读
• 📦 “这个 GitHub 仓库是干嘛的？Issue 里说了什么？” → 能用，但认证配置很麻烦
• 📡 “帮我订阅这几个 RSS 源，有更新告诉我” → 要自己装库写代码

这些不难实现，但是需要自己折腾配置

每个平台都有自己的门槛——要付费的 API、要绕过的封锁、要登录的账号、要清洗的数据。你要一个一个去踩坑、装工具、调配置，光是让 Agent 能读个推特就得折腾半天。

Agent Reach 把这件事变成一句话：

帮我安装 Agent Reach：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

复制给你的 Agent，几分钟后它就能读推特、搜 Reddit、看 YouTube、刷小红书了。

已经装过了？更新也是一句话：

帮我更新 Agent Reach：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/update.md

⭐ Star 这个项目，我们会持续追踪各平台的变化、接入新的渠道。你不用自己盯——平台封了我们修，有新渠道我们加。

✅ 在你用之前，你可能想知道

支持的平台

不知道怎么配？不用查文档。 直接告诉 Agent「帮我配 XXX」，它知道需要什么、会一步一步引导你。

🍪 需要 Cookie 的平台（Twitter、小红书等），优先使用 Chrome 插件 Cookie-Editor 导出 Cookie，发给 Agent 即可配置。流程统一：浏览器登录 → Cookie-Editor 导出 → 发给 Agent。比扫码更简单可靠。

🔒 Cookie 只存在你本地，不上传不外传。代码完全开源，随时可审查。 💻 本地电脑不需要代理。代理只有部署在服务器上才需要（~$1/月）。

快速上手

⚠️ OpenClaw 用户请先确认 exec 权限已开启

Agent Reach 依赖 Agent 执行 shell 命令（pip install、mcporter、twitter 等）。如果你的 OpenClaw 使用了默认的 messaging 工具配置，Agent 将无法执行命令。安装前请先开启 exec 权限：

openclaw config set tools.profile "coding"

或在 ~/.openclaw/openclaw.json 中设置 "tools": { "profile": "coding" }。 设置后重启 Gateway（openclaw gateway restart）并开启新对话即可。其他平台（Claude Code、Cursor、Windsurf 等）不受此限制。

复制这句话给你的 AI Agent（Claude Code、OpenClaw、Cursor 等）：

帮我安装 Agent Reach：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

就这一步。Agent 会自己完成剩下的所有事情。

🔄 已安装过？ 更新也是一句话：

帮我更新 Agent Reach：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/update.md

🛡️ 担心安全？ 可以用安全模式——不会自动装系统包，只告诉你需要什么：

帮我安装 Agent Reach（安全模式）：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md
安装时使用 --safe 参数

装好就能用

不需要任何配置，告诉 Agent 就行：

• “帮我看看这个链接” → curl https://r.jina.ai/URL 读任意网页
• “这个 GitHub 仓库是做什么的” → gh repo view owner/repo
• “这个视频讲了什么” → yt-dlp --dump-json URL 提取字幕
• “帮我看看这条推文” → twitter tweet URL
• “订阅这个 RSS” → feedparser 解析
• “搜一下 GitHub 上有什么 LLM 框架” → gh search repos "LLM framework"

不需要记命令。 Agent 读了 SKILL.md 之后自己知道该调什么。

设计理念

Agent Reach 是一个脚手架（scaffolding），不是框架。

你给一个新 Agent 装环境的时候，总要花时间去找工具、装依赖、调配置——Twitter 用什么读？Reddit 怎么绕封？YouTube 字幕怎么提取？每次都要重新踩一遍。

Agent Reach 做的事情很简单：帮你把这些选型和配置的活儿做完了。

安装完成后，Agent 直接调用上游工具（twitter-cli、rdt-cli、xhs-cli、yt-dlp、mcporter、gh CLI 等），不需要经过 Agent Reach 的包装层。

🔌 每个渠道都是可插拔的

每个平台背后是一个独立的上游工具。不满意？换掉就行。

channels/
├── web.py          → Jina Reader     ← 可以换成 Firecrawl、Crawl4AI……
├── twitter.py      → twitter-cli       ← 可以换成官方 API……
├── youtube.py      → yt-dlp          ← 可以换成 YouTube API、Whisper……
├── github.py       → gh CLI          ← 可以换成 REST API、PyGithub……
├── bilibili.py     → yt-dlp          ← 可以换成 bilibili-api……
├── reddit.py       → rdt-cli         ← 搜索+阅读，需 Cookie 认证
├── xiaohongshu.py  → mcporter MCP    ← 可以换成其他 XHS 工具……
├── linkedin.py     → linkedin-mcp    ← 可以换成 LinkedIn API……
├── rss.py          → feedparser      ← 可以换成 atoma……
├── exa_search.py   → mcporter MCP    ← 可以换成 Tavily、SerpAPI……
└── __init__.py     → 渠道注册（doctor 检测用）

每个渠道文件只负责检测对应上游工具是否可用（check() 方法），给 agent-reach doctor 提供状态信息。实际的读取和搜索由 Agent 直接调用上游工具完成。

当前选型

📌 这些都是「当前选型」。不满意？换掉对应文件就行。这正是脚手架的意义。

安全性

Agent Reach 在设计上重视安全：

🍪 Cookie 安全建议

⚠️ 封号风险提醒： 使用 Cookie 登录的平台（Twitter、小红书等），通过脚本/API 调用存在被平台检测并封号的风险。请务必使用专用小号，不要用你的主账号。

需要 Cookie 的平台（Twitter、小红书）建议使用专用小号，不要用主账号。原因有二：

1. 封号风险 — 平台可能检测到非正常浏览器的 API 调用行为，导致账号被限制或封禁
2. 安全风险 — Cookie 等同于完整登录权限，用小号可以在凭据泄露时限制影响范围

📦 安装方式

🗑️ 卸载

agent-reach uninstall

会清除：~/.agent-reach/（含所有 token/cookie）、各 Agent 的 skill 文件、mcporter 中的 MCP 配置。

# 只预览，不实际删除
agent-reach uninstall --dry-run

# 只删 skill 文件，保留 token 配置（重装时用）
agent-reach uninstall --keep-config

卸载 Python 包本身：pip uninstall agent-reach

贡献

这个项目是纯 vibe coding 出来的 🎸 可能会有一些不完美的地方，如果遇到问题请多多包涵。有 bug 尽管提 Issue，我都会尽快修复。

想要新渠道？ 直接提 Issue 告诉我们，或者自己提 PR。

想在本地加？ 让你的 Agent clone 下来改就行，每个渠道就是一个独立文件，加起来很简单。

PR 也随时欢迎！

⭐ 为什么值得 Star

这个项目我自己每天在用，所以我会一直维护它。

• 有新需求或者大家提了想要的渠道，我会陆续加上
• 每个渠道我会尽量保证能用、好用、免费
• 平台改了反爬或者 API 变了，我会想办法解决

为 Web 4.0 基建贡献一份自己的力量。

Star 一下，下次需要的时候能找到。⭐

常见问题 / FAQ

致谢

twitter-cli · rdt-cli · xhs-cli · bili-cli · yt-dlp · Jina Reader · Exa · mcporter · feedparser · linkedin-scraper-mcp

联系

• 📧 Email: [email protected]
• 🐦 Twitter/X: @Neo_Reidlab

交流或合作可加微信，拉你进交流群：

Bug 反馈和功能请求请用 GitHub Issues，更容易跟踪。

License

MIT

友情链接

腾讯云 OpenClaw — 在腾讯云Lighthouse秒级部署OpenClaw全能助手，可通过对话丝滑接入Agent Reach，给你的OpenClaw一键装上互联网能力。

Star History

Mulight 沐光🌟 (@0xMulight): Codex可以连接手机了，兄弟们！

Mac和Win均都支持，只需要用相机扫描二维码，然后一键授权。

这样就可以用手机操控电脑里的软件了

这是不是可以替代远程了。