web-crawling

标签

Cards List
#web-crawling

亚马逊正计划构建一个“全球商品图谱”,为网上的每一件商品建立索引,部分原因是为了应对 AI 购物代理。

Reddit r/AI_Agents ↗ · 6天前

据路透社报道,亚马逊正计划构建一个“全球商品图谱”,为几乎所有在线销售的商品建立索引,部分目的是让第三方 AI 购物智能体依赖亚马逊的商品目录,而非其他网站。内部的新闻稿/常见问题文档还指出,Rufus 的回答经常“存在事实错误或不完整”,不过亚马逊表示,这些数据已经过时,目前准确率约为 97%。

0 人收藏 0 人点赞
#web-crawling

支持面向网站的共享 AI 训练控制机制(阅读需 2 分钟)

TLDR AI ↗ · 2026-11-02 缓存

谷歌宣布计划基于 IETF AIPREF 的工作,在 robots.txt 中支持一项通用的 AI 训练控制机制,让网站能够一次性向多家 AI 提供商表达退出 AI 训练的意愿,目标于 2027 年推出。

0 人收藏 0 人点赞
#web-crawling

让网站更轻松地表达 AI 训练偏好

OpenAI Blog ↗ · 2026-10-30 缓存

OpenAI 宣布将遵循 IETF AI 偏好工作组提出的共享 robots.txt 信号,让网站所有者只需设置一次,就能向多家提供商表达其对 AI 训练的偏好,而无需单独管理每个爬虫的规则。

0 人收藏 0 人点赞
#web-crawling

AI 生成网络内容的不均衡增长

arXiv cs.AI ↗ · 2026-10-28 缓存

这篇 arXiv 论文分析了 2019 年至 2026 年间的逾 500 万个网页,发现含有 AI 生成文本的网页占比从 2022 年之前的接近于零,上升至 2026 年 8 月的近 25%。这一增长并不均衡:英语网页和 .com 域名网站中 AI 文本的普及程度高于其他语言的网页或 .gov/.edu 域名网站,而且 AI 文本集中在网络图中中心性最低的网页上。这些估计值通过贝叶斯分层模型得出,并校正了检测器的错误率。

0 人收藏 0 人点赞
#web-crawling

Wikimedia的智能体事故报告,读起来像是一份关于缺失权限契约的Bug报告

Reddit r/AI_Agents ↗ · 2026-10-20

分析Wikimedia基金会的AI智能体事故报告:自主智能体未经授权抓取了数百万页面、发起大量重查询并进行了未授权编辑,可能促成Wikidata Query Service五月的部分宕机。核心问题在于缺乏明确的权限契约——没有速率限制、没有作用范围、没有读写边界,导致智能体在无人定义合规行为的情况下造成了服务中断。

0 人收藏 0 人点赞
#web-crawling

面向大语言模型预训练数据的主机感知网络爬取

arXiv cs.CL ↗ · 2026-10-12 缓存

该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题,发现文档质量在主机层面存在显著聚集性,通过先采样少量页面再按质量深入爬取,可比统一深度或基于中心度的分配多收集数倍高质量页面。

0 人收藏 0 人点赞
#web-crawling

@huoshan007:我挖到了一个猛兽。GitHub 顶级爬虫 crawl4ai,把一个哥们被 16 美元付费服务坑骗的怒火,直接烧成了 51k 星的开源项目……

X AI KOLs Timeline ↗ · 2026-10-11 缓存

推文介绍了GitHub上爆红的开源爬虫项目crawl4ai(51k星),可将任意网站内容转为LLM可直接使用的干净Markdown,无需API密钥或付费订阅,被认为打破了付费爬虫服务的价值壁垒。

0 人收藏 0 人点赞
#web-crawling

我向 AI 智能体开放了我的小网站,并记录了谁来访问。结果大多是机器人在索引其他机器人。

Reddit r/AI_Agents ↗ · 2026-10-10

一位小网站站长开放了对 AI 代理的支持(llms.txt、Markdown、MCP 服务器、按次付费端点)并记录流量:绝大多数是 Meta、Amazon 等 AI 爬虫以及目录和扫描类 MCP 客户端,真正干活的代理调用仅有 3 次,说明当前的“代理互联网”主要是机器人在索引机器人。

0 人收藏 0 人点赞
#web-crawling

把整站灌进智能体只会让效果更差,但大家还是照做不误

Reddit r/AI_Agents ↗ · 2026-10-09

作者批评把整站页面粗暴灌入向量库的做法,主张先爬取发现 URL、再用简单路径过滤大幅缩减索引规模,因为智能体有明确任务和 token 预算,无法容忍大量噪声内容。

0 人收藏 0 人点赞
#web-crawling

利用网络数据和大型语言模型量化组织环境行动

arXiv cs.CL ↗ · 2026-09-16 缓存

提出了一种使用网络数据和大型语言模型的可扩展计算框架,以量化组织环境行动,并以美国犹太教堂为例进行了演示,比较了关键词检索、语义检索和直接分类方法。

0 人收藏 0 人点赞
#web-crawling

Data Scout: 用于领域特定预训练语料库的定向网络爬取

arXiv cs.LG ↗ · 2026-09-10 缓存

Data Scout 是一种定向网络爬取方法,它使用 LLM 将主题扩展为查询并筛选内容,与过滤大型存档相比,显著提高了创建领域特定预训练语料库的效率。

0 人收藏 0 人点赞
#web-crawling

关于 Unix 负载平均的一些(大多是历史性的)问题

Lobsters Hottest ↗ · 2026-09-10 缓存

本文详细介绍了博客作者为阻止旧浏览器以减少来自恶意爬虫的负载(可能用于 LLM 训练)所采取的措施,并讨论了 Inoreader 和 Feedly 等阅读器以及 Vivaldi 浏览器和存档服务的特定问题。

0 人收藏 0 人点赞
#web-crawling

LinkedIn对GPTBot和ClaudeBot返回HTTP 999,但对OAI-SearchBot返回HTTP 200。我测量了200响应里的内容。

Reddit r/artificial ↗ · 2026-09-01

LinkedIn屏蔽了GPTBot和ClaudeBot等AI爬虫,但允许OAI-SearchBot等搜索索引机器人访问,提供的有限个人资料数据省略了职位和工作经历日期等关键信息。

0 人收藏 0 人点赞
#web-crawling

@TheAhmadOsman: 专业提示:RSS 源又回来了顺便说一下,现在用代理将任何 API 或 Web 应用转换为 RSS 源非常容易。给 GLM 5.3 Flash…

X AI KOLs Timeline ↗ · 2026-08-30 缓存

一条专业提示:利用如 GLM 5.3 Flash 这样的 AI 代理,通过爬取、映射端点和构建自定义仪表板,轻松将任何 API 或 Web 应用转换为 RSS 源。

0 人收藏 0 人点赞
#web-crawling

@tom_doerr: 爬取网站以将提取的网页内容转换为适用于大语言模型(LLM)的数据结构。 https://github.com/watercrawl/WaterC…

X AI KOLs Timeline ↗ · 2026-08-27 缓存

WaterCrawl是一个开源Web应用,它爬取网站以将提取的内容转换为适用于大语言模型(LLM)的数据结构,使用Python、Django、Scrapy和Celery构建。

0 人收藏 0 人点赞
#web-crawling

@binghe: 爬虫界的赛博菩萨:Crawl4ai 免费,给 AI 用的爬虫工具。78.9k 免费:无需注册、无需密钥、不按页计费,可替代每月 16 美元的付费爬虫。 专为 AI 打造:可将任意复杂网页一键提纯为 Markdown 格式,直接喂给大模型,…

X AI KOLs Timeline ↗ · 2026-08-21 缓存

Crawl4ai 是一个免费的、为 AI 设计的爬虫工具,可将网页内容转换为 Markdown 格式,适合 RAG 和 Agent 开发。

0 人收藏 0 人点赞
#web-crawling

@WilliamBryk:Exa 现已成为全球最大的索引之一。我们服务 800 亿页面,跟踪 1.4 万亿 URL,并有望达到 Google 规模…

X AI KOLs Following ↗ · 2026-08-03 缓存

Exa 宣布其服务 800 亿个页面并跟踪 1.4 万亿个 URL,将自己定位为最大的网络索引之一,并计划在 2027 年初达到 Google 规模。

0 人收藏 0 人点赞
#web-crawling

大多数Googlebot都是假的

Lobsters Hottest ↗ · 2026-07-27 缓存

文章指出,很多声称自己是Googlebot的机器人实际上是假的,它们冒充其用户代理以绕过机器人控制,并提供了如何验证合法Googlebot流量的指导。

0 人收藏 0 人点赞
#web-crawling

假设你正在构建一个基于整个网站训练的RAG聊天机器人。你将如何爬取整个网站

Reddit r/AI_Agents ↗ · 2026-06-28

关于如何爬取整个网站以训练RAG聊天机器人的讨论,涵盖策略与挑战。

0 人收藏 0 人点赞
#web-crawling

每个 AI 智能体抓取网站的方式截然不同。以下是 3 个月、1100 万事件日志显示的真实情况。

Reddit r/AI_Agents ↗ · 2026-06-10

对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为:GPTBot 无视 robots.txt 持续抓取;Google 的爬虫频繁检查规则;ClaudeBot 的抓取速度正在快速提升;Bytespider 是最重的爬虫。这些发现表明,SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈