web-scraping

标签

Cards List
#web-scraping

@itsolelehmann:为你的智能体赋予超能力的顶级Hermes集成:1. Firecrawl 基本上是为智能体构建的网页搜索。它……

X AI KOLs Following · 昨天

精选的Hermes AI智能体顶级集成列表,包括Firecrawl、Browserbase、Google Workspace、Reddit、YouTube、Discord、GitHub、Stripe、Bland/Twilio、Apify、Readwise、Granola/Fathom和Obsidian,为智能体赋予网页搜索、交互、效率和研究方面的超能力。

0 人收藏 0 人点赞
#web-scraping

@hasantoxr: 发现这个后,我再也不愿每月花 500 美元购买反检测浏览器了。它叫 CloakBrowser。一款隐秘的 Chromium……

X AI KOLs Timeline · 昨天

本文介绍了 CloakBrowser,这是一款基于 Chromium 的开源隐秘浏览器,旨在绕过 reCAPTCHA 和 Cloudflare Turnstile 等机器人检测系统。它声称通过直接修补 C++ 源代码而非注入 JavaScript 来提供卓越的隐秘能力,定位自己为昂贵商业反检测浏览器的免费替代方案。

0 人收藏 0 人点赞
#web-scraping

@VincentLogic: 分享一个能把任何网站“一键克隆”成代码的神器! ai-website-cloner-template 简单说:给一个网址,AI 帮你逆向工程,直接生成干净的 Next.js 代码库。 它强在哪? 还原度极高:不只是抄个皮,AI 会自动截图…

X AI KOLs Timeline · 2天前

介绍了一个名为 ai-website-cloner-template 的工具,它利用 AI 将任意网站逆向工程为高质量的 Next.js 代码库,支持主流 AI 编程助手。

0 人收藏 0 人点赞
#web-scraping

现代 feed 阅读器(2024)

Lobsters Hottest · 2天前 缓存

作者分析了 RSS 源因抓取和干扰而衰退的问题,认为现代 Feed 阅读器必须整合替代的聚合方式才能保持相关性。

0 人收藏 0 人点赞
#web-scraping

@thisguyknowsai:这就是 GitHub 为何无敌……一位开发者构建了一款让 Chrome 显得臃肿的无头浏览器。它叫 Obsc…

X AI KOLs Timeline · 2天前

一位开发者使用 Rust 构建了名为 Obscura 的开源无头浏览器引擎,专为 AI Agent、网页爬取和自动化设计,声称其比 Chrome 更加轻量。

0 人收藏 0 人点赞
#web-scraping

@vista8: 一个能过所有主流反爬检测的开源浏览器项目:CloakBrowser 据说能过所有主流的反爬检测,比如Cloudflare等。 直接改自Chromium C++源码,编译阶段就把57个指纹信息改掉。 道高一尺魔高一丈,哈哈哈。 Github…

X AI KOLs Timeline · 2天前 缓存

CloakBrowser 是一个开源浏览器项目,直接改自 Chromium C++ 源码,通过在编译阶段更改 57 个指纹信息来绕过 Cloudflare 等反爬检测。

0 人收藏 0 人点赞
#web-scraping

面向 LLM 的 Markdown 浏览器

Reddit r/LocalLLaMA · 2天前

作者介绍了 TextWeb,这是一个开源工具,它将网页渲染为 Markdown 格式供 LLM 处理,而非使用昂贵的大视觉模型,该工具支持命令行界面 (CLI) 和 MCP 服务器。

0 人收藏 0 人点赞
#web-scraping

@heynavtoor:虚拟助手行业已经落幕。苏黎世联邦理工学院的两名学生仅用四天就推出了一个最小可行产品(MVP)。如今,AI 控制了他们的 C…

X AI KOLs Timeline · 3天前 缓存

Browser-Use 是由苏黎世联邦理工学院(ETH Zurich)学生开发的一个开源框架,旨在通过人工智能实现浏览器自动化。它提供了一种免费且具备自愈能力的解决方案,能够模拟人类交互,而无需依赖易碎的 HTML 解析技术,从而对传统的 RPA(机器人流程自动化)行业构成挑战。

0 人收藏 0 人点赞
#web-scraping

Web Speed

Product Hunt · 3天前

Web Speed 是一款全新发布的产品,旨在通过消除网页交互中的 Token 税,将 AI 智能体的成本降低 90%。

0 人收藏 0 人点赞
#web-scraping

试用了 5 个 Agent 平台进行日常竞品监控,只有这 2 个撑过了整整一个月

Reddit r/AI_Agents · 3天前

作者比较了五个 AI Agent 和自动化平台(n8n、Browse AI、Apify、Make、MuleRun)在竞品监控方面的表现,得出结论:针对其特定使用场景,MuleRun 和 n8n 最为可靠。

0 人收藏 0 人点赞
#web-scraping

今日宣布 AI 网络代理再次免费

Reddit r/AI_Agents · 3天前

作者发布了 StealthFox,这是一个开源的 Firefox 分支,旨在通过在 C++ 级别生成独特且一致的浏览器指纹,帮助 AI 网络代理绕过反机器人系统。

0 人收藏 0 人点赞
#web-scraping

我构建了一个 TikTok 数据 API(无需鉴权)- 以纯净 JSON 格式提供主页、视频、评论、搜索、话题标签及社交图谱

Reddit r/AI_Agents · 4天前

作者宣布 Scavio AI(一款专为 AI 代理设计的在线搜索 API)现已新增对 TikTok 的支持。该 API 无需身份验证即可为主页、视频、评论及社交图谱提供结构化的 JSON 数据。

0 人收藏 0 人点赞
#web-scraping

Show HN: Mochi.js:专为 Bun 原生开发的高保真浏览器自动化库

Hacker News Top · 4天前 缓存

Mochi.js 是一个新的开源浏览器自动化库,专为 Bun 运行时原生构建,旨在通过关系一致性、原生 Chromium 获取和行为合成来绕过检测机制。

0 人收藏 0 人点赞
#web-scraping

@kylejeong: OpenClaw 可以利用 Autobrowse 为任意工作流创建并持续优化技能。以下是一个 Craigslist 数据抓取的示例……

X AI KOLs Timeline · 4天前 缓存

OpenClaw 借助 Autobrowse 对工作流进行迭代优化,在 Craigslist 数据提取任务中经过 5 次迭代实现了 68% 的速度提升和 91% 的成本节省。AI 智能体还自主发现了一个暴露的接口端点,进一步优化了页面导航效率。

0 人收藏 0 人点赞
#web-scraping

@simplifyinAI: 这个Python库可以抓取任何网站,同时绕过互联网上所有的机器人防护。它旋转指纹,…

X AI KOLs Timeline · 5天前

一个Python库,通过旋转指纹、模拟真实浏览器头部并自动处理验证码,在抓取网站时绕过Cloudflare、Akamai等机器人防护。它使用无头Chromium、Playwright、代理轮换,并且完全开源。

0 人收藏 0 人点赞
#web-scraping

@DeRonin_: 你明白 Browserbase 刚刚开源了什么吗???一个只需学习一次任何网站,就能以十分之一成本永久完成任务的智能体……

X AI KOLs Following · 5天前

Browserbase 开源了 Autobrowse,这是一个智能网页浏览工具,通过迭代探索学习网站结构,并将发现的模式保存为可复用的 Markdown 技能文件,大幅减少重复网页自动化任务的时间和成本。

0 人收藏 0 人点赞
#web-scraping

@servasyy_ai: https://x.com/servasyy_ai/status/2052549006170169527

X AI KOLs Timeline · 5天前 缓存

这篇文章展示了如何使用 XCrawl 工具和 AI Agent 自动化跨境电商选品流程,将原本需要数小时的手工工作压缩至 3 分钟,并通过 Amazon 和 1688 的数据对比计算利润。

0 人收藏 0 人点赞
#web-scraping

@jakevin7: OpenCLI 又多了个很好用的能力 —— 一条命令把任意网页转成 Markdown。 opencli web read --url <any-url> 浏览器里先用 DOM 启发式抽正文(article → role="main" → …

X AI KOLs Following · 2026-04-22 缓存

OpenCLI adds a one-command feature to convert any webpage to Markdown using DOM heuristics and Turndown.

0 人收藏 0 人点赞
#web-scraping

@NFTCPS: 兄弟们,Headless Chrome 该退休了! 有人用 Rust 搓了个专给 AI Agent 和爬虫用的无头浏览器引擎——Obscura,性能直接把 Chrome 按地上摩擦: ① 内存只吃 30MB(Chrome 吃你几个G) ②…

X AI KOLs Timeline · 2026-04-22 缓存

Obscura is a new Rust-based headless browser engine targeting AI agents and crawlers, offering 30 MB memory usage, 85 ms startup, and CDP compatibility with Puppeteer/Playwright.

0 人收藏 0 人点赞
#web-scraping

@ycombinator:LLM 在人机协同场景中表现出色,却在确定性开发者任务上屡屡翻车。@interfaze_ai 推出的新 AI…

X AI KOLs Following · 2026-04-20 缓存

Interfaze AI 发布专用模型,在 OCR、目标检测、网页抓取、语音转文字、分类等确定性开发者任务上全面超越通用 LLM。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈