@WilliamBryk:Exa 现已成为全球最大的索引之一。我们服务 800 亿页面,跟踪 1.4 万亿 URL,并有望达到 Google 规模…

X AI KOLs Following 产品

摘要

Exa 宣布其服务 800 亿个页面并跟踪 1.4 万亿个 URL,将自己定位为最大的网络索引之一,并计划在 2027 年初达到 Google 规模。

Exa 现在是全球最大的索引之一。 我们服务 800 亿个页面,跟踪 1.4 万亿个 URL,并有望在 2027 年初达到 Google 规模。 很难知道各索引的规模,但我们估计 Google 约有 1 万亿,Bing 约有 5000 亿,Yandex 约有 2000 亿。Brave 在四月份提到他们达到 400 亿。 大部分网络内容都是垃圾,可能会损害 AI 输出,因此你实际上必须爬取比提供服务所需更多的内容,并训练模型来过滤掉垃圾。 在峰值 QPS 方面,我们估计 Bing 大约为 3 万/秒,Google 约为 50 万/秒。 就我们而言,由于代理(agent)流量通常需要大量的扇出(深度搜索可能使用数十个子搜索),并且可能是突发的(比如当 AI 实验室与我们进行强化学习时),我们已经开始为 Bing 规模级的流量做准备。 两年内,代理将以每秒数百万次的频率进行搜索。他们还会要求对所有数据进行全面覆盖,远超当今任何索引。因此,所需的检索基础设施在规模和全面性两个维度上都将大于 Google 规模。
查看原文
查看缓存全文

缓存时间: 2026/08/03 21:52

Exa 现在是世界上最大的索引之一。

我们服务 800 亿个网页,跟踪 1.4 万亿个 URL,并有望在 2027 年初达到 Google 规模。

很难知道索引的大小,但我们估计 Google 约有 1 万亿,Bing 约 5000 亿,Yandex 约 2000 亿。Brave 在四月份提到他们达到 400 亿。

网络上的大部分内容都是垃圾,会损害 AI 输出,所以实际上你必须抓取比你服务的多得多的内容,并训练模型来过滤掉垃圾。

就峰值 QPS 而言,我们估计 Bing 大约 3 万/秒,Google 约 50 万/秒。

就我们而言,因为代理流量通常需要较大的扇出(深度搜索可以使用数十个子搜索)并且可能具有尖峰性(例如当 AI 实验室与我们进行强化学习时),我们已经开始为 Bing 规模的流量进行资源预配置。

在两年内,代理将以每秒数百万次的速度进行搜索。他们还会要求对所有数据的全面覆盖,比今天的任何索引都要大得多。因此所需的检索基础设施在索引规模和查询吞吐量两方面都将超过 Google 规模。

相似文章

Exa 3.0

Product Hunt

Exa 3.0正式发布,这是Exa面向AI智能体的搜索API迄今最大规模的搜索质量更新,配备了更大的嵌入模型、数十亿新增文档、节省95% token的动态高亮(Dynamic Highlights)功能,以及全新的定价层级,低至每1,000次请求4美元起。

Exa 3.0 正式发布(阅读约 3 分钟)

TLDR AI

Exa 发布 3.0 版本,称其在全部八项基准测试中排名第一,并新增低价搜索类型 Exa Lite(每千次请求 4 美元),同时将 Dynamic Highlights 正式开放并大幅扩展索引数据。

World Wide Web的大小

Hacker News Top

文章报告称,截至2025年1月15日,被索引的网络至少包含39.8亿个页面,并突出了从Google获取数据时的问题,该问题影响了规模计算。