有人正在进行大规模漏洞扫描，冒充ClaudeBot等AI机器人

# Agentic Web 指数：AI 机器人流量统计 | Known Agents 来源：https://knownagents.com/insights ## 总览 (https://knownagents.com/insights#overview) 使用Agent Analytics (https://knownagents.com/products/agent-analytics)和AI Chat Referral Tracking (https://knownagents.com/products/ai-chat-referral-tracking)的**5,000\+**个网站的关键生态指标。 ### 机器人 vs. 人类流量 (https://knownagents.com/insights#bot-vs-human-traffic) ↓ 2% 与过去 90 天相比 机器人与人类的访问量 ### Agent 化 (https://knownagents.com/insights#agentrification) ↑ 11% 与过去 90 天相比 机器人流量中与 AI 相关的百分比 ### AI 聊天推荐量 (https://knownagents.com/insights#ai-chat-referral-volume) ↓ 9% 与过去 90 天相比 来自 AI 聊天的人类网站访问百分比 查看推荐趋势 ↓ (https://knownagents.com/insights#ai-chat-referrals) ### Robots.txt 有效性 (https://knownagents.com/insights#robots-txt-effectiveness) 机器人遵循 robots.txt 规则的频率 查看各代理 ↓ (https://knownagents.com/insights#robots-txt-and-compliance) ### 按代理类型划分的流量 (https://knownagents.com/insights#traffic-by-agent-type) AI 代理 AI Agent 使用实际网页浏览器，代表人类用户自主完成复杂任务 AI 助手 AI Assistant 根据用户提示获取网站内容，以包含在 AI 生成的答案中 AI 编码代理 AI Coding Agent 获取文档和其他资源以帮助构建软件 AI 数据提供商 AI Data Provider 作为第三方服务爬取网站，为 AI 系统提供结构化内容 AI 数据抓取器 AI Data Scraper 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 AI 搜索爬虫 AI Search Crawler 索引网站内容，可能作为 AI 驱动搜索结果中的引用 存档器 Archiver 捕获并存储网站历史快照，用于长期数字保存 自动化代理 Automated Agent 以编程方式自动化浏览器交互，无需人工直接监督 开发者助手 Developer Helper 协助测试、调试和确保网站功能 抓取器 Fetcher 检索网页元数据以支持链接预览或订阅源等应用功能 情报收集器 Intelligence Gatherer 分析网页内容以进行品牌安全、竞争情报和广告定向 数据抓取器 Scraper 提取大量网页数据，通常未经网站明确许可 搜索引擎爬虫 Search Engine Crawler 系统性地扫描和索引网页以包含在搜索结果中 安全扫描器 Security Scanner 扫描网站以发现安全漏洞、威胁和配置弱点 SEO 爬虫 SEO Crawler 分析网站结构和内容，以识别 SEO 改进机会 未分类 Uncategorized 尚未分配类型 未记录 AI 代理 Undocumented AI Agent 爬取网站但不披露其目的，为未知 AI 用例收集数据 将鼠标悬停在每种代理类型上可了解其功能详情 ### 热门代理类型 (https://knownagents.com/insights#top-agent-types) 活动量最高的代理类型 ### 热门访问代理 (https://knownagents.com/insights#top-agents) bingbot (https://knownagents.com/agents/bingbot) SRCH 搜索引擎爬虫 系统性地扫描和索引网页以包含在搜索结果中 8.2% Googlebot (https://knownagents.com/agents/googlebot) SRCH 搜索引擎爬虫 系统性地扫描和索引网页以包含在搜索结果中 7.9% AhrefsBot (https://knownagents.com/agents/ahrefsbot) SEO SEO 爬虫 分析网站结构和内容，以识别 SEO 改进机会 6.2% Known Agent (https://knownagents.com/agents/known-agent) DEV 开发者助手 协助测试、调试和确保网站功能 5.5% ChatGPT\-User (https://knownagents.com/agents/chatgpt-user) ASST AI 助手 根据用户提示获取网站内容，以包含在 AI 生成的答案中 3.3% ClaudeBot (https://knownagents.com/agents/claudebot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 3.2% PetalBot (https://knownagents.com/agents/petalbot) SRCH AI 搜索爬虫 索引网站内容，可能作为 AI 驱动搜索结果中的引用 3.2% SemrushBot (https://knownagents.com/agents/semrushbot) SEO SEO 爬虫 分析网站结构和内容，以识别 SEO 改进机会 3.0% facebookexternalhit (https://knownagents.com/agents/facebookexternalhit) FTCH 抓取器 检索网页元数据以支持链接预览或订阅源等应用功能 2.6% meta\-externalagent (https://knownagents.com/agents/meta-externalagent) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 2.3% Amazonbot (https://knownagents.com/agents/amazonbot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 2.3% MJ12bot (https://knownagents.com/agents/mj12bot) SEO SEO 爬虫 分析网站结构和内容，以识别 SEO 改进机会 2.2% Amzn\-SearchBot (https://knownagents.com/agents/amzn-searchbot) SRCH AI 搜索爬虫 索引网站内容，可能作为 AI 驱动搜索结果中的引用 2.2% DotBot (https://knownagents.com/agents/dotbot) SEO SEO 爬虫 分析网站结构和内容，以识别 SEO 改进机会 2.1% Applebot (https://knownagents.com/agents/applebot) SRCH AI 搜索爬虫 索引网站内容，可能作为 AI 驱动搜索结果中的引用 2.1% 活动量最高的代理 ### 热门运营者 (https://knownagents.com/insights#top-operators) 活动量最高的运营者 ## AI 抓取活动 (https://knownagents.com/insights#ai-scraping) 这些机器人会抓取网站内容以训练 AI 模型。其中一些属于 AI 公司，另一些则属于转售数据的第三方服务。Automatic Robots.txt (https://knownagents.com/products/automatic-robots-txt) 可以阻止不需要的抓取。包含的代理类型包括AI 数据抓取器 (https://knownagents.com/agents?agent_type_url_slug=ai-data-scraper)和AI 数据提供商 (https://knownagents.com/agents?agent_type_url_slug=ai-data-provider)。 ### 按代理类型划分的流量 (https://knownagents.com/insights#ai-scraping-traffic-by-agent-type) AI 数据提供商 AI Data Provider 作为第三方服务爬取网站，为 AI 系统提供结构化内容 AI 数据抓取器 AI Data Scraper 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 按代理类型随时间变化的 AI 抓取活动 ### 访问量最高的网站类别 (https://knownagents.com/insights#ai-scraping-top-visited-website-categories) 计算机与电子 5.3% 商业与工业 5.0% 互联网与电信 4.5% 活动量最高的网站类别 ### 热门代理 (https://knownagents.com/insights#ai-scraping-top-agents) ClaudeBot (https://knownagents.com/agents/claudebot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 27.0% meta\-externalagent (https://knownagents.com/agents/meta-externalagent) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 19.5% Amazonbot (https://knownagents.com/agents/amazonbot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 19.2% GPTBot (https://knownagents.com/agents/gptbot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 9.4% Bytespider (https://knownagents.com/agents/bytespider) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 7.3% ShapBot (https://knownagents.com/agents/shapbot) PVDR AI 数据提供商 作为第三方服务爬取网站，为 AI 系统提供结构化内容 5.6% GoogleOther (https://knownagents.com/agents/googleother) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 3.9% CCBot (https://knownagents.com/agents/ccbot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 2.3% Timpibot (https://knownagents.com/agents/timpibot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 1.8% YouBot (https://knownagents.com/agents/youbot) PVDR AI 数据提供商 作为第三方服务爬取网站，为 AI 系统提供结构化内容 1.4% VelenPublicWebCrawler (https://knownagents.com/agents/velenpublicwebcrawler) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 0.8% Diffbot (https://knownagents.com/agents/diffbot) PVDR AI 数据提供商 作为第三方服务爬取网站，为 AI 系统提供结构化内容 0.5% DeepSeekBot (https://knownagents.com/agents/deepseekbot) SCRP AI 数据抓取器 下载网站内容以包含在用于训练 AI 模型（如 LLM）的数据集中 0.4% TerraCotta (https://knownagents.com/agents/terracotta) PVDR AI 数据提供商 作为第三方服务爬取网站，为 AI 系统提供结构化内容 0.3% AIWebIndex (https://knownagents.com/agents/aiwebindex) PVDR AI 数据提供商 作为第三方服务爬取网站，为 AI 系统提供结构化内容 0.2% AI 抓取最多的代理 ### 热门运营者 (https://knownagents.com/insights#ai-scraping-top-operators) AI 抓