回顾前谷歌时代的网络，当时搜索还是一场实验

# 追忆谷歌之前的网络：当时的搜索还是一场实验 来源：https://arstechnica.com/gadgets/2026/08/remembering-the-pre-google-web-when-search-was-an-experiment/ “大多数人早已完全忘记了当时它有多混乱。” Ask Jeeves 的 Jeeves 举起一台 90 年代的电脑显示器，上面有一个表情包（https://cdn.arstechnica.net/wp-content/uploads/2026/08/90s-search-engines.jpg） Jeeves 生活在一个截然不同的网络上。图片来源：Aurich Lawson Jeeves 生活在一个截然不同的网络上。图片来源：Aurich Lawson 上世纪 90 年代中期，网络正在爆炸式发展，但要想在其中找到真正有价值的内容，感觉就像与某个恰好在门口站岗的原始搜索引擎进行一场复杂的谈判。与现在谷歌被广泛视为门户和守门人不同，AltaVista、Lycos、Excite、HotBot 和 Ask Jeeves 等网站承诺驯服混乱，每个都有一系列独特的怪癖、魅力和缺陷。 谷歌之前搜索的真相并不是早期引擎更逊色，而是它们反映了一个完全不同的互联网——在这个互联网里，目录很重要，爬取仍是一门艺术，排名很脆弱，“搜索”的概念尚未固化成一个单一的主导界面。 ## 一种不同的网络 关于谷歌之前的互联网，首先需要记住的是，当时并不存在“你可以搜索一切”这种与生俱来的假设。许多用户通过 Yahoo 式的目录、书签、新闻组、电子邮件签名以及网站间的链接来发现页面，因为那时的网络仍然足够小，人工组织可以与机器索引一较高下。那是一个狂野西部式的可发现性时代。搜索引擎确实存在，但它们只是整个生态系统的一部分，这个生态系统将策展与偶然性混在一起。 在这些引擎成为网络的主要公共界面之前，像 Usenet 这样的资源已经在向人们展示如何在线组织和发现信息。Usenet 诞生于 1979 年，它为用户提供了基于主题的新闻组和一种分布式讨论的文化，使其在第一批主要网络引擎出现之前就让在线信息变得具有社交性和社区感。Usenet 帮助人们养成了通过类别和社区来穿行于浩瀚而混乱的数字空间的习惯，而不是依赖一个简单的搜索框。 Nicole M. Radziwill 在 90 年代曾担任系统管理员、程序员和项目经理等职务。她记得 Usenet 是发掘在线有趣内容的一个入口。“这是发现你可能感兴趣的网站的唯一方式，”她说。“1990 年，我还是北卡罗来纳州达勒姆的一名学生，那时就开始上 Usenet……那真是一段愉快的经历，尤其是 alt.* 和 misc.* 群组。人们会在帖子底部放上链接，信息就这样自然传播开来。如果你想要更安全或更可靠的建议，可以只浏览有版主管理的群组。” 那是一个“发现”这个词真正具有分量的时代——你真的可能是第一个看到某条内容的人，无论它的质量如何，也无论它已经存在了多久。那是一个充满惊喜和沮丧的时代。 “然后几年后，webring 出现了，”Radziwill 说。“你会拿到一段代码，放到自己网站 HTML 页面的底部，它会嵌入一个链接，指向下一个相关网站。由其他人来管理接下来可以放什么链接，所以这是增加曝光度的好方法。那些为 webring 整理列表的人通常都相当正直，所以我们甚至没想过会有人搞破坏。” Webring 是另一个来自前谷歌时代的产物，它让人想起那个微型社区如雨后春笋般涌现的年代，就像 BBS 时代那样，一群有着小众兴趣的人聚在一起，有时甚至彼此就在现实世界的同一个地方。在 Reddit 这样的庞然大物聚合器出现之前，webring 只是少数几个能找到你感兴趣主题网站的方式之一。 这之所以重要，是因为那时的网络尚未变成一台纯粹的检索机器。它仍然具有探索的文化，许多服务的设计初衷是帮助用户浏览主题类别，而不是向一个通用索引发出查询。在那个世界里，webring 或目录并不是一种妥协，它往往是重头戏。 ## 先有目录，后有算法 Yahoo 是这种早期逻辑最著名的例子。它最初是一个人工编辑的网络指南，按嵌套的主题类别组织，由真人维护，而不是完全自动化的排名系统。对于年轻的网络来说，这种方法出奇地有效：人工编辑能够识别优质网站、过滤明显垃圾信息，并为这个仍在快速扩张的媒介带来一种秩序感。 “1995 年到 1996 年，我在一家‘电商商店’做系统管理员，”Radziwill 告诉我，“当我们为新客户搭建网站时，整个流程的高光时刻就是把网站提交给 Yahoo。Yahoo 就像黄页，只不过只收录网站。你要填一个表格，而且必须向 Yahoo 的真人编辑证明，你提交的这家企业是正规的、重要的，足以进入 Yahoo 的主目录。” 这种人工策展如今几乎难以想象。 “我记得有一次提交了一个美国癌症协会地区分支机构的网站，结果被拒了，理由是‘不够重要’，”Radziwill 说。“他们建议我们联系 ACS 总部，让他们在主页上放一个链接……可是当时他们还没有主页。” 那是一个被 Yahoo 这类目录的人工审核员接纳就相当于获得巨大荣誉的时代。但这种模式有明显的局限性。人工策展不可能永远扩张下去，随着网络急剧膨胀、内容增长超过策展速度，这种方式变得越来越昂贵、也越来越不及时。当页面数量超过能够合理分类它们的人数的那一刻，未来就属于爬虫和排名系统了。 ## 爬虫的崛起 那个时代的搜索引擎依靠软件来应对规模问题。许多最早的大型商业系统，如 AltaVista、Lycos、Excite 和 HotBot，都使用爬虫和索引来自动绘制不断增长的网络，而不是依赖编辑手动分类每个网站。虽然这些引擎的工作方式并不完全相同，但它们有一个共同的核心目标：尽可能多地抓取网络，然后让算法来整理这堆杂乱的东西。 这在今天听起来可能理所当然，但在当时却是一个飞跃。AltaVista 尤其代表了一次重大进步，它将快速爬虫与可扩展的索引软件结合在一起，上线后不久就每天处理数百万次 HTTP 请求。它让搜索不再像是浏览目录，而更像是向一台巨大的机器发出查询。 ## AltaVista 的高光时刻 AltaVista 之所以能成为 20 世纪 90 年代标志性的搜索引擎之一，是因为它速度快、覆盖面广，而且以当时的标准来看能力异常强大。后来的版本支持自然语言式搜索，让用户觉得网络终于可以被当作一个可索引的整体来对待，尽管结果仍然有些粗糙。在那个许多人还在学习网络到底是什么、并尝试应对其浩瀚无边的年代，这几乎堪称奇迹。但与像现代谷歌这样高度进化的引擎相比，它仍然是一个非常有限的工具。 Mark Friend 是 IT 支持公司 Classroom365 Limited 的总监，90 年代末他曾担任系统操作员。他记得，在前谷歌时代，搜索网络既是一项技术技能，也是一门艺术。 一个密集的链接和文本页面，顶部附近有一个搜索栏（https://cdn.arstechnica.net/wp-content/uploads/2026/08/altavista-1999.png） 1999 年的 Altavista。 1999 年的 Altavista。图片来源：Web Design Museum（https://www.webdesignmuseum.org/gallery/altavista-1999） “大多数人早已完全忘记了当时它有多混乱，”Friend 说。“那时，如果你在 AltaVista 里输入一个问题，要想找什么具体的信息，胜算真的不大。你会得到 4 万个结果，结果还是让你一头雾水，就像对着拥挤的房间大喊一样。” 与谷歌那曾经对用户友好的界面和更相关的结果相比，翻遍 AltaVista 的结果页面需要耐心和真正的技巧，这种技巧是随着时间磨练出来的。但 AltaVista 确实完成了一件重要的事：它让人们期望搜索应该是即时的。这一期望被证明是决定性的。一旦用户体验过能够快速扫过庞大索引的搜索引擎，他们就不再接受迟缓、不完整的系统。AltaVista 没有赢得搜索战争，但它明确了游戏的规则。 ## Lycos、Excite 与门户时代 Lycos 和 Excite 占据了一个重要的中间地带。它们是搜索品牌，但同时也是门户网站，意味着它们既想成为工具，也想成为目的地。搜索与新闻、电子邮件、体育、天气、财经和其他内容的板块并列——所有这些设计都是为了让用户留在网站上，而不是跳到外部结果页。 经典 Excite 标志下方是一个充满蓝色链接的网页（https://cdn.arstechnica.net/wp-content/uploads/2026/08/Excite.png） 1997 年的 Excite。 1997 年的 Excite。图片来源：Web Design Museum（https://www.webdesignmuseum.org/gallery/excite-in-1997） 这些公司展示了这个类别在当时有多么不稳定。一些引擎强调广度，一些强调速度，还有一些将编辑频道与自动结果混在一起，在今天的我们看来简直是异类。“搜索引擎”这个标签涵盖了各种各样的产品，从目录服务和爬虫，到把搜索当作附带功能加上的门户，不一而足。 ## HotBot、Inktomi 与技术信誉 HotBot 因是那个时代技术上最严肃的搜索引擎之一而闻名。它出现时，用户已经开始注意到搜索质量既取决于索引大小，也取决于背后的排名系统的复杂程度——其可扩展后端由 Inktomi 提供。快速爬取已经不够了；人们想要的是相关、及时且没有明显作弊痕迹的结果。 一个以绿色为主的老式网页，左侧有导航（https://cdn.arstechnica.net/wp-content/uploads/2026/08/hotbot-1999.png） 1999 年的 Hotbot。 1999 年的 Hotbot。图片来源：Web Design Museum（https://www.webdesignmuseum.org/gallery/hotbot-1999） 这种张力暴露了早期机器搜索的弱点。如果一个系统过度依赖页面上的文本信号，人们就可以通过堆砌关键词来人为提升排名。如果一个引擎主要依赖容易被操纵的页面信号，那么营销技巧就可能压过内容质量。早期的网络很快就成了操纵行为的实验室，甚至在人们用现代意义上的“搜索引擎优化”（SEO）这个词之前就已经如此。 ## Ask Jeeves 与提问式界面 Ask Jeeves 之所以与众不同，是因为它试图让搜索看起来像对话——这个想法在人工智能聊天机器人的时代显得格外有先见之明，尽管 Ask Jeeves 显然无法提供任何接近当今大语言模型那种对话式界面的东西。Mark Friend 说，Ask Jeeves 让人觉得真正属于未来，因为它没有要求用户按照关键词来思考，而是邀请他们用自然语言提问，给人一种由一位知识渊博的助手管理网络的印象。 一个搜索框旁边是一个管家的插画（https://cdn.arstechnica.net/wp-content/uploads/2026/08/AskJeeves.png） 1999 年的 Ask Jeeves。 1999 年的 Ask Jeeves。图片来源：Web Design Museum（https://www.webdesignmuseum.org/gallery/ask-jeeves-1999） 问题在于自然语言是很难的。用户并不总是提出清晰的问题，而底层系统也无法在大规模范围内可靠地推断意图。Ask Jeeves 之所以令人难忘，是因为在没有深度学习和 LLM 支撑的情况下，它声称比当时的技术所能支持的程度更懂用户体验。 ## 在 SEO 出现之前 前谷歌时代的网络也是工业化前 SEO 的环境。网站所有者试图提高可见性，但现代的搜索优化体系尚未成为后来那种庞大、专业化的职业领域——没有成群结队的“专家”追逐谷歌那些微妙的信号、试图预测它的下一次神秘转型。早期引擎仍然相对容易被明显信号影响，比如关键词重复、元数据和提交技巧。 “那个年代人们不谈论排名，”Friend 回忆道。“他们提交自己的 URL，然后耐心等待，看它会不会出现在搜索结果里。每个人都认真对待 Meta 关键词标签，而‘白底白字’这种隐藏关键词的做法是站长们真心实意采用的合法策略，目的是在网站里为搜索引擎爬虫塞进关键词。那时不用担心什么惩罚，你建好一个网站，然后祈祷好运。” 到 90 年代末，引擎开始将白底白字视为垃圾索引（spamdexing）并采取行动。无论如何，那意味着排名既比今天简单，也比今天脆弱。早期的搜索网络是一个实验性阶段，规则尚未固化，发布者和引擎之间的反馈回路仍然可控，也更容易测试和解读。一旦搜索成为网络的主要入口，那种开放的环境便崩塌为一个更具对抗性的世界。 “大多数人都不愿面对的残酷真相是，抓取和排名把互联网变成了一座内容制造工厂，”Friend 说。“网站从为人而写，变成了主要为搜索引擎爬虫而写。” ## PageRank 改变了一切 谷歌的关键贡献不在于它发明了搜索，而在于它改变了排名的逻辑。PageRank 将链接视为权威信号，这使得相关性在一定程度上取决于网络本身如何指向某个页面。这是一个重大转变，因为它让结果看起来更可信，也让简单的操纵变得更难——当然并非不可能。 同样重要的是，谷歌将这种排名方法与一个极简的界面和一张不挡路的结果页搭配在一起。这种简洁的设计很重要，因为它强化了一种感觉：搜索应该是一种工具，而不是一个门户游乐场。实际上，谷歌让搜索框变成了通往整个网络的前门，就像家中的前门一样必不可少。 ## 为什么旧网络很重要 回顾过去，前谷歌时代更慢、更乱，在很多方面也更低效。但它也拥有更多关于信息应当如何被寻找、分类和评判的竞争性想法，同时还有一种无拘无束的氛围，暗示着无限的可能性。有些系统相信人，有些相信爬虫，有些相信目录，还有一些相信用自然语言提出的问题。 “互联网天生就带着一定程度的杂乱和混乱，”Friend 回忆道。“但与此同时，那时的网络也比后来更加人性化。这就是为什么我们很多人会对那个时代感到怀旧。互联网有一种手工质感。它是由真实的人用 Notepad 和 Dreamweaver 这样的文本编辑器做出来的。你可能从一个目的地出发，发现自己来到一个不知名乐队的粉丝网站，然后又进入一个讨论复古合成器的论坛，最后落在一个 NASA 页面上。” 这种多样性值得铭记，因为它表明搜索从来就不是注定要变成现在这个样子。前谷歌时代的引擎不仅仅是一连串失败的前身。它们是对一个问题的严肃尝试——这个问题被网络变得紧迫，但当时还没有一种明显的解决办法。