标签
Sidelight 是一款 Chrome 侧边栏浏览器智能体，在你真实且已登录的会话中运行，而非使用远程浏览器，可实现数据提取、表单填写和多步骤任务自动化，无需反复登录或处理验证码。
开源了一个 Claude Code Agent Skill，通过在已登录的 Chrome 页面内复用真实请求模板与页面 SDK 签名来抓取抖音单条视频的完整评论区（含楼中楼回复），无需付费接口或逆向 a_bogus，且不会触发验证码，速度约为浏览器自动化方案的 2.5 倍。
Fibr AI 创始人分享了一项实验，测试 ChatGPT、Gemini 和 Claude 等 AI 智能体如何“看待”他们的网站，并发现大多数网站只为人类用户而设计。基于这一发现，他们推出了一款产品以及一个免费检测工具，帮助诊断网页对 AI 的可读性。
一篇评论文章认为，联邦和州层面拟议的针对 AI 抓取的“隐形机器人”法案，既无法阻止滥用性网络爬虫，又会损害新闻报道、研究和档案保存工作中使用的合法自动化数据收集。
Simon Willison 发布了一份研究报告，评测了 webframe——这是 Jeff Lindsay 开发的一款轻量级 Go 工具，可在无头系统 Web 视图中像程序一样运行网页。研究发现它速度很快，性能可与 shot-scraper 相媲美，但也存在一些不足，如 CSP 失败和缺少 HTTP 元数据等问题。
Gologin 推出 Cloud Browser，一款面向 AI 代理和网页抓取的云端浏览器服务，提供持久会话、隐身与反机器人保护，以及 150 多个国家的代理支持，可扩展至数千个浏览器实例。
一位实践者讲述了其AI研究智能体如何在10个精选网站上几乎零错误，却在200个真实域名上失败率超过30%。他得出结论：根本原因在于流水线无法区分「空结果」和「抓取失败」。引入抓取层面的置信度评分后，暴露出的坏数据行比之前任何提示词调优都要多。
Meta 删除了其中备受争议的商业条款，此前法律专家警告称，该条款可能允许 Meta 抓取任何商业账户的域名来训练其 AI 模型。Meta 澄清称，这些条款仅适用于广告和商业产品。
在法律学者和出版商的强烈反对下，Meta从其商业条款中删除了备受争议的内容，专家此前认为这些条款可能允许Meta抓取新闻网站内容以训练其AI。
Meta 被指通过更新的商业条款，要求企业账号授权其抓取关联网站内容用于 AI 训练且无法选择退出，法律专家警告这可能帮助 Meta 规避向新闻出版商支付数百万美元的 AI 授权费用。
Meta 更新后的商业条款将于 10 月 30 日生效，可能赋予其权限，爬取和抓取使用其平台的企业（包括新闻出版商）所关联网站上的内容，用于训练其人工智能，甚至可能凌驾于 robots.txt 指令之上并绕过许可协议，不过 Meta 坚称，此举只是整合现有条款。
treg 推出开源免费的 WebAccess 工具，为 AI 智能体提供 100% 免费的网页搜索与抓取能力，通过在多个供应商之间自动路由请求来保障可用性与成本效率。
Gregor Zunic（@gregpr07）分享了一个提示词技巧：安装 Browser Use CLI 并默认使用其远程浏览器，让 Grok 和 Muse 智能体绕过验证码和反机器人措施。
Meta 将开始抓取企业账户的网站内容，用于训练人工智能。这项政策将于 10 月 30 日生效，引发了人们对数据使用和用户同意问题的担忧。
svpino 分享了一种将 agent 连接到网络的简单方式：加入 Expand 的 MCP server，让 agent 在抓取 URL 时自动获取保留原格式（表格、图标等）的 Markdown 内容，并引用了 Expand Fetch 的发布介绍。
Omar Sanseviero 分享了对 Expand Fetch 的看法。这款全新的网页抓取和爬取工具使用两个 System One 视觉模型（包括 Iris）读取渲染后的页面并返回干净的 JSON，旨在解决智能体因误读扁平化页面内容而产生幻觉的问题。
开发者在将自定义 feed reader 产品 sprinklz.io 发布到 Hacker News 后，网站遭遇大量 AI 爬虫机器人流量，导致服务器负载异常飙升，作者通过端点日志分析定位了问题来源。
互联网法教授 Eric Goldman 在 r/WebScrapingInsider 子版块主持了一场 Reddit AMA，讨论了美国网络抓取的法律现状，涵盖动产侵害原则、数据所有权与开放信息获取之间的博弈，以及他对反抓取规则的政策担忧——这些规则可能将无许可浏览变成一种需要许可的受限体验。
Pomerado 是一款开源工具，可在几分钟内将任意网站（如 Google Flights、Zillow、Instacart 及传统门户）转换为 API / MCP，帮助 AI 代理自动构建、托管、认证并维护这些集成。
CrawlForge MCP 是一个开源 MCP 服务器，为 AI 代理提供 31 种网页工具，支持抓取、搜索、爬取、结构化数据提取和隐身浏览，可通过一条 npx 命令集成到 Claude Desktop、Claude Code 或 Cursor。