@WilliamBryk：Exa 现已成为全球最大的索引之一。我们服务 800 亿页面，跟踪 1.4 万亿 URL，并有望达到 Google 规模…

X AI KOLs Following 产品
search-index web-crawling ai-agents infrastructure scale search-engine

摘要

Exa 宣布其服务 800 亿个页面并跟踪 1.4 万亿个 URL，将自己定位为最大的网络索引之一，并计划在 2027 年初达到 Google 规模。

Exa 现在是全球最大的索引之一。 我们服务 800 亿个页面，跟踪 1.4 万亿个 URL，并有望在 2027 年初达到 Google 规模。 很难知道各索引的规模，但我们估计 Google 约有 1 万亿，Bing 约有 5000 亿，Yandex 约有 2000 亿。Brave 在四月份提到他们达到 400 亿。 大部分网络内容都是垃圾，可能会损害 AI 输出，因此你实际上必须爬取比提供服务所需更多的内容，并训练模型来过滤掉垃圾。 在峰值 QPS 方面，我们估计 Bing 大约为 3 万/秒，Google 约为 50 万/秒。 就我们而言，由于代理（agent）流量通常需要大量的扇出（深度搜索可能使用数十个子搜索），并且可能是突发的（比如当 AI 实验室与我们进行强化学习时），我们已经开始为 Bing 规模级的流量做准备。 两年内，代理将以每秒数百万次的频率进行搜索。他们还会要求对所有数据进行全面覆盖，远超当今任何索引。因此，所需的检索基础设施在规模和全面性两个维度上都将大于 Google 规模。
查看原文
查看缓存全文

缓存时间: 2026/08/03 21:52

Exa 现在是世界上最大的索引之一。

我们服务 800 亿个网页，跟踪 1.4 万亿个 URL，并有望在 2027 年初达到 Google 规模。

很难知道索引的大小，但我们估计 Google 约有 1 万亿，Bing 约 5000 亿，Yandex 约 2000 亿。Brave 在四月份提到他们达到 400 亿。

网络上的大部分内容都是垃圾，会损害 AI 输出，所以实际上你必须抓取比你服务的多得多的内容，并训练模型来过滤掉垃圾。

就峰值 QPS 而言，我们估计 Bing 大约 3 万/秒，Google 约 50 万/秒。

就我们而言，因为代理流量通常需要较大的扇出（深度搜索可以使用数十个子搜索）并且可能具有尖峰性（例如当 AI 实验室与我们进行强化学习时），我们已经开始为 Bing 规模的流量进行资源预配置。

在两年内，代理将以每秒数百万次的速度进行搜索。他们还会要求对所有数据的全面覆盖，比今天的任何索引都要大得多。因此所需的检索基础设施在索引规模和查询吞吐量两方面都将超过 Google 规模。

相似文章

World Wide Web的大小

Hacker News Top

文章报告称，截至2025年1月15日，被索引的网络至少包含39.8亿个页面，并突出了从Google获取数据时的问题，该问题影响了规模计算。

AI搜索初创公司正在爆发

TechCrunch AI

像Exa Labs和Parallel Web Systems这样的AI搜索初创公司正在筹集大额融资，与谷歌和ChatGPT竞争，以改变搜索领域。文章指出，虽然谷歌正在用AI重塑搜索，但初创公司仍有空间开辟自己的细分市场。

2026年AI最佳网络搜索API

Reddit r/AI_Agents

本文比较了适用于AI代理的网络搜索API，评估了Serper、Brave、Exa、Firecrawl和Tavily等选项，基于它们在SEO跟踪、语义发现和全内容提取等任务中的适用性。