web-scraping

标签

Cards List
#web-scraping

@browser_use:真的比抓取API还便宜

X AI KOLs Timeline ↗ · 2026-10-10 缓存

Browser Use 宣布其成本在一年内降低了100倍,价格已经低于传统的抓取API,Gregor Zunic分享了这一进展。

0 人收藏 0 人点赞
#web-scraping

@Astronaut_1216: 天哪……………我发现了这个逆天的网站,能抓取全球数据,无视一切反爬虫设计……

X AI KOLs Timeline ↗ · 2026-10-08

一个用户兴奋地分享发现了一个能绕过反爬虫设计、抓取全球数据的AI时代中继站点,但犹豫是否公开分享。

0 人收藏 0 人点赞
#web-scraping

为什么我把抓取和抽取合并到一个 agent 工具里

Reddit r/AI_Agents ↗ · 2026-10-06

作者分享在用 OpenAI Agents SDK 和 ZenRows 构建线索生成 agent 时,将抓取与抽取合并为单一工具以避免 540K 字符上下文溢出的实践,包括确定性管线设计、错误处理策略与性能结果。

0 人收藏 0 人点赞
#web-scraping

@Mileson07:真的太夸张了……Muse 直接帮我爬取了微信公众号的数据,一开始我还以为……

X AI KOLs Timeline ↗ · 2026-10-04 缓存

一位用户声称 AI 助手 Muse 可以直接爬取微信公众号——这一通常反爬最严格平台——的数据,并导出为 PDF,同时提到 Dot 和 Cue 等 AI 助手也具备类似能力。

0 人收藏 0 人点赞
#web-scraping

@denziideng:我打赌你不知道,你的 AI Agent 现在可以从几乎所有网站抓取数据!X、YouTube、Reddit……各种

X AI KOLs Timeline ↗ · 2026-10-04 缓存

一条推文介绍了三个开源工具——Agent-Reach、Patchright Enhanced 和 Scrapling——它们让 AI Agent 无需 API 权限即可从 X、YouTube、Reddit 等网站抓取数据。

0 人收藏 0 人点赞
#web-scraping

当你的 AI 智能体需要大规模浏览网页时,究竟什么会出问题(三个月失败教训总结)

Reddit r/AI_Agents ↗ · 2026-10-04

一位实践者分享了构建可大规模浏览网页的 AI 研究智能体的惨痛教训:IP 封禁、速率限制以及对缺失数据的静默幻觉会在任务中途打断智能体。作者建议将网页访问视为不可靠工具,在系统提示中明确写入降级回退指令,并在基础设施层使用轮换住宅代理,以消除静默失败。

0 人收藏 0 人点赞
#web-scraping

@0xGky:嘿,做网络爬虫和自动化的兄弟们,快看看这个——有款工具你们早该装了 Scrapfly Anti-…

X AI KOLs Timeline ↗ · 2026-10-03 缓存

一条推广推文,介绍 Scrapfly Anti-bot Detector,这是一款 Chrome 扩展,能实时揭示网站背后的反爬保护机制,包括各种验证码、Cloudflare 和 Akamai 等反机器人系统,以及浏览器指纹识别技术。

0 人收藏 0 人点赞
#web-scraping

@FinanceYF5:AI 智能体如今几乎可以抓取整个互联网的数据。X、YouTube、Reddit、论坛,甚至没有 API 的网站……

X AI KOLs Timeline ↗ · 2026-10-02 缓存

AI 智能体如今几乎可以抓取整个互联网的数据,包括 X、YouTube、Reddit、论坛,甚至没有 API 的网站,这一切由 GitHub 上新发布的 3 款开源工具驱动,可用于研究、分析和监控。

0 人收藏 0 人点赞
#web-scraping

我们的智能体告诉销售团队,某家公司正在"积极招聘"。而他们七月份刚裁掉了一半的员工

Reddit r/AI_Agents ↗ · 2026-10-01

一位从业者讲述了他的销售调研智能体为何持续产生幻觉笔记——工具返回的都是垃圾数据,比如 Cookie 横幅和缓存页面——以及为什么在工具输出上加一个健全性检查,几小时就解决了提示词调优一个月都解决不了的问题。他询问读者:数据过滤和提示词工程,哪个才是更好的修复方式?

0 人收藏 0 人点赞
#web-scraping

Cloudflare CEO Matthew Prince能拯救网络免受AI威胁吗?

The Verge ↗ · 2026-09-26 缓存

与Cloudflare CEO Matthew Prince的播客访谈探讨了AI机器人如何主导网络流量、Cloudflare的控制策略,以及对网络和商业的影响,包括因AI导致的Cloudflare裁员。

0 人收藏 0 人点赞
#web-scraping

智能体护照?

Reddit r/AI_Agents ↗ · 2026-09-25

本文讨论了互联网需要允许良好机器人访问的演变需求,以一个AI代理被网站阻止为例,并询问该领域的当前发展情况。

0 人收藏 0 人点赞
#web-scraping

@JenovaAIAgent: Newsletter Generator 是一款 AI 代理,帮助您通过一次性规划标题、来源、风格和章节,来发布专业的新闻通讯,并能随时按指令生成精美版本 ✉️

X AI KOLs Following ↗ · 2026-09-23 缓存

Newsletter Generator 是一款 AI 代理,它能通过规划标题、来源和章节,实现专业新闻通讯的自动化创建,随后可按指令生成风格统一、准时交付的精美版本。

0 人收藏 0 人点赞
#web-scraping

我构建了一个潜在客户研究管道,并刻意未使用AI代理。

Reddit r/AI_Agents ↗ · 2026-09-23

作者使用n8n和AI工具构建了一个潜在客户研究管道,为确保可预测性而刻意避免使用AI代理,并邀请对设计的反馈。

0 人收藏 0 人点赞
#web-scraping

当您将网页抓取作为服务销售时,您实际交付给客户的是什么?

Reddit r/AI_Agents ↗ · 2026-09-21

作者讨论了提供房地产网页抓取服务的挑战,分享了客户会议中关于数据交接和准确性的见解,并寻求社区的建议。

0 人收藏 0 人点赞
#web-scraping

@vista8: VPS抓取信息无法绕过Cloudflare,GPT5.6 sol拒绝帮助。切换到Zhipu GLM 5.3 Flash。发现th…

X AI KOLs Timeline ↗ · 2026-09-21 缓存

一位用户使用Zhipu GLM 5.3 Flash和curl_cffi绕过Cloudflare封锁,以在JoMu RSS阅读器中启用YouTube视频摘要。

0 人收藏 0 人点赞
#web-scraping

@svpino: 每个人都在阻止代理访问内容。浏览器指纹、付费墙、验证码——名单不胜枚举。B…

X AI KOLs Timeline ↗ · 2026-09-17 缓存

这条推文讨论了绕过内容封锁器的方法,如浏览器指纹、付费墙和验证码,并提供了一个便捷访问指南的链接。

0 人收藏 0 人点赞
#web-scraping

shot-scraper 1.12

Simon Willison's Blog ↗ · 2026-09-13 缓存

shot-scraper 1.12 版本新增 WebP 格式的截图支持,大幅减小文件大小,并提供质量设置选项。

0 人收藏 0 人点赞
#web-scraping

@gregpr07: https://x.com/gregpr07/status/2099188090913120278

X AI KOLs Timeline ↗ · 2026-09-13 缓存

本文解释了无头浏览器、其在自动化方面的优势,以及AI浏览器代理对它们日益增长的采用,并与有头浏览器进行了比较。

0 人收藏 0 人点赞
#web-scraping

@realfxw: 做 Agent 最头疼的往往不是模型逻辑,而是让它联网“拿数据”——反爬、登录鉴权、频率限制,折腾半天全卡在接口上。 推荐关注开源项目 Agent-Reach,相当于直接给 AI Agent 装上了一副全网“采集外骨骼”: 整合成熟生态:…

X AI KOLs Timeline ↗ · 2026-09-13 缓存

Agent-Reach 是一个开源项目,为 AI Agent 提供一键式网络数据采集能力,整合多种工具以解决反爬和认证等问题。

0 人收藏 0 人点赞
#web-scraping

@RoundtableSpace: Maigret 仅用一个用户名就能为任何人建立完整档案——无需 API 密钥即可跨数百个网站交叉引用账户…

X AI KOLs Timeline ↗ · 2026-09-13 缓存

Maigret 是一个开源工具,能够在无需 API 密钥的情况下,通过跨数百个网站交叉引用用户名,为个人建立详尽的档案。它已大受欢迎,下载量超过 100 万次,并广泛应用于开源情报(OSINT)领域。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈