myaiteam2/website-scrapper
摘要
一款轻量级开源网页抓取工具,基于 BeautifulSoup 构建,已托管至 Replicate,可一键容器化使用。
myaiteam2 / website-scrapper
查看缓存全文
缓存时间: 2026/04/22 21:20
# myaiteam2/website-scrapper – Replicate
来源:https://replicate.com/myaiteam2/website-scrapper
### myaiteam2/website-scrapper
经典 BeautifulSoup 抓 URL 小魔法。(部分网站会封禁抓取,但依旧有用)
## 运行时间与费用
在 Replicate 上运行约需 $6.74,即每 1 美元可跑 0 次,具体取决于输入。模型开源,也可用 Docker 本地运行(https://replicate.com/myaiteam2/website-scrapper/api)。
硬件为 CPU(https://replicate.com/docs/billing),单次预测通常 1123 分钟内完成。
## 自述
耶!!!伙伴们!我厉不厉害?!?
我在 Replicate 上发布了第一个真正干活的公开模型!!!(不只是训练图像模型)
给自己鼓掌!
祝抓取愉快!
模型创建于 1 年多前
相似文章
myaiteam2/websitescraper2
一个网页抓取工具,可从网站中提取电子邮件、电话号码、社交媒体链接以及HTML/文本内容。可在Replicate上使用,且为开源项目。
@Fluyeporlaweb: 网页抓取技术升级——Scrapling 绕过 Cloudflare 封锁,速度是 BeautifulSoup 的 774 倍,而且无需……
Scrapling 是一个网页抓取框架,能够绕过 Cloudflare 封锁,速度比 BeautifulSoup 快 774 倍,并能自动适应网站变化。它在 GitHub 上拥有 5.22 万星标,并支持作为 MCP 服务器与 AI 代理协作。
@Jolyne_AI: 又在 GitHub 挖到一款高性能爬虫/抓取利器:AnyCrawl,把数据采集这件事做得更省心、更高效。 它把 Cheerio、Playwright、Puppeteer 三种引擎打包到一起:静态页面秒解析,复杂 JavaScript 渲染…
AnyCrawl 是一款高性能开源爬虫/抓取工具,集成了 Cheerio、Playwright、Puppeteer 三种引擎,支持静态解析与 JS 渲染、SERP 批量抓取、站点级爬虫、多线程/多进程并发、代理支持,并针对 LLM 数据采集优化输出格式。
@heyrimsha: Firecrawl 每月收费 $333 用于大规模爬取网站。我发现了一个 GitHub 仓库,可以做同样的事情,而且免费。它是……
一款名为 Crawl4AI 的开源网络爬虫工具爆火,它提供免费且对 LLM 友好的抓取功能,包括 JavaScript 渲染、异步爬取和清晰的结构化输出,与 Firecrawl 等付费服务形成对比。
@simplifyinAI: 这个Python库可以抓取任何网站,同时绕过互联网上所有的机器人防护。它旋转指纹,…
一个Python库,通过旋转指纹、模拟真实浏览器头部并自动处理验证码,在抓取网站时绕过Cloudflare、Akamai等机器人防护。它使用无头Chromium、Playwright、代理轮换,并且完全开源。