旧网络去哪了？我们追踪了657,607个链接以寻找答案

# 旧网页去哪了？我们追踪了 657,607 个链接一探究竟。 来源：https://0.mk/blog/link-rot **一份 0\.mk 的旧数据库备份中保存了 2009 年至 2014 年间创建的 657,958 个链接及其点击次数。**我们恢复了其中 657,607 条记录作为 2015 年前的链接，并在 2026 年 8 月逐一访问了每个目的地。在 655,178 条可安全爬取的有效链接记录中，76.7% 已无法返回可加载的页面。 0\.mk 的用户大多来自马其顿，因此这并非对整个互联网的普查。它是那个时期某个在线社区所分享内容的、规模可观且幸存至今的记录，涵盖本地新闻、个人博客、图片托管、论坛以及当时的主流平台。 2009 年 0\.mk 上线时，它是由三人团队打造的业余项目。我们只能抽空维护，通常每周在正常工作之外抽出几个小时。十七年后，团队中的一位成员在磁盘上发现了一份旧数据库备份，决定将它重新带回来。 以下是这六年链接创建的情况，以及其后漫长的沉寂： 2009：3,668 条链接20094k2010：20,283 条链接201020k2011：103,053 条链接2011103k2012：23,148 条链接201223k2013：224,931 条链接2013225k2014：282,524 条链接2014283k2026：404 条链接2026404以上为原始链接记录，而非用户数。2011 年的峰值包含一批 83,398 条链接；2013 年 97.8% 和 2014 年 99.9% 的记录无法关联到已恢复的账号。绿色长条是 2026 年的重新上线。 ## 生存测试 此次爬取覆盖了截至 2014 年 12 月的全部 657,607 条已恢复链接记录。我们排除了 2,429 条目标地址格式错误、指向内部地址、需要凭据或被策略阻止的记录，剩余 655,178 条可爬取的历史链接： 无法连接：51.24%HTTP 错误：25.44%可加载：23.32% **51.24%**无法连接（DNS、超时、TLS）**25.44%**HTTP 错误（4xx / 5xx）**23.32%**可加载（2xx / 3xx 响应） 即便那 23.3% 也高估了实际存续情况。登录墙、满是广告的停放域名，或者"此内容已不可用"的提示，都被计为"加载成功"。页面能打开并不意味着原始内容还在。 为什么有 657,607 条链接却只有 494,781 个 URL？因为多个短链接有时会指向完全相同的目标地址。这样的重复记录有 162,826 条。将每个目的地去重后，剩下 494,781 个独立 URL，其中 492,620 个可爬取。这些 URL 中只有 21.3% 能加载。去掉重复目的地后百分比几乎没有变化：78.7% 仍然无法加载。 在独立 URL 层面上，55.0% 在从第二个网络重试不确定的结果后仍于网络层失败，23.7% 返回了 HTTP 错误。最常见的 HTTP 结果是 404，涉及 76,403 个独立 URL。另有 29,663 个返回 403 或 429；这些页面并非无法加载，而是可能在阻止自动化请求。403 或 429 可能意味着网站屏蔽了我们的爬虫，因此"未能加载"比断言这些页面全部消失更为诚实。 同样的模式也体现在域名层面。在 133,605 个可爬取的主机名中，只有 34,827 个有至少一个 URL 能加载。其余 98,778 个一个都没有。 2009 URL 64.58% 主机 61.53% 2010 URL 60.39% 主机 60.36% 2011 URL 92.53% 主机 61.74% 2012 URL 59.43% 主机 62.46% 2013 URL 75.06% 主机 75.24% 2014 URL 78.16% 主机 75.45% 完整爬取中无可加载页面的占比。URL 层面统计每个不同的路径；主机层面每个主机名只计一次。 2011 年的异常分布解释了年度总数的奇怪现象。某个账号创建了 83,398 个指向 pelaphptutorials\.com 的独立链接。在 URL 层面上，2011 年 92.5% 的目的地无法加载。将该主机视为一个整体后，这一数字降至 61.7%，与 2010 年和 2012 年几乎相同。 各年度总数并不表明 2012 年普通用户使用量出现崩塌。去掉那一批链接后，2011 年从 103,053 条记录降至 19,655 条；而 2012 年为 23,148 条。2013 年和 2014 年的记录几乎全部无法关联到已恢复数据中的用户，且其中四分之三的主机名没有任何可加载的 URL。原始链接数量并不能等同于用户增长曲线。 许多存活下来的知名网站都是巨头：YouTube、Wikipedia 和 Google 系产品。个人博客、论坛、本地新闻网站和图片托管服务则大量出现在失效集合中。集中化的网络总体上比分散的小型网络保存得更好。 ## 穿行于数字墓地 这份数据库读起来就像一座 2010 年代互联网的博物馆。以下是一些"居民"及其被链接指向的次数： Facebook 图片 CDN（fbcdn\.net），无一可加载835条链接 Google Code，如今将许多 URL 重定向到其存档803条链接 PureVolume，旧服务已消失但域名仍在响应796条链接 Rapidshare，无任何 URL 可加载139条链接 Megaupload，无任何 URL 可加载71条链接 Picasa 网络相册，无任何 URL 可加载69条链接 人们当时将 Facebook 图片以直接 CDN 链接的形式分享；这 835 条记录背后的 789 个独立 fbcdn\.net URL 无一能够加载。然而 PureVolume 如今能为 653 个独立 URL 中的 633 个返回页面，Google Code 也能加载或重定向 754 个中的 628 个。原始服务已不复存在，但它们的域名仍在响应。HTTP 响应不等于内容被保存了下来。 ## 马其顿的一层 0\.mk 是马其顿第一个短链接服务，因此这些数据也是一个国家网络的记录，而这个网络已部分不复存在。链接指向 A1 电视台（2011 年关停），以及报纸 Utrinski Vesnik、Dnevnik 和 Vest——它们都在 2017 年停刊。数百条指向本地新闻的链接，如今除了互联网档案馆（Internet Archive）偶尔还能找到外，已无处可读。短链接比新闻编辑室活得更久。 ## 遗珠 十七年他人书签的积累中，确有一些珍宝： **史上第一个被缩短的链接**（2009 年 7 月 14 日凌晨 3：52）不是宣言，也不是上线公告，而是某个人 WordPress 博客上的一个 CSS 样式表。共被点击两次，仅此而已。帝国始于卑微。 **第二天，有人缩短了 localhost。**`0\.mk/localhost` 指向 `http://127\.0\.0\.1/`。它被点击了两次，每次都将访问者引向各自的电脑。最短的 URL，通向最孤独的目的地。 **最短的链接指向最长的域名。**`0\.mk/1` 记录了 10,415 次点击，指向 thelongestlistofthelongeststuffatthelongestdomainnameatlonglast\.com——一个 2000 年代的有趣网站，如今本身也已消失。四个字符指向六十三个字符，持续了十七年。 **我们缩短过的最长 URL 有 38,753 个字符**，是一个 2012 年的 CodePen 链接，其查询字符串literally写着 TRYING\_THE\_MAXIMUM\_URL。有人在测试我们。我们通过了，并且至今还保留着他们的测试。 **我们的 4,478 条链接指向其他短链接服务**：bit\.ly、TinyURL、goo\.gl。短链接套短链接，脆弱性翻倍。Google 于 2025 年关停了 goo\.gl，因此这些链接如今都是一条条缺少中间环节的链条：我们这一半仍然有效，指向一个不再解析的服务。链接腐烂的平方。 **还有那条不朽的链接：**`0\.mk/7`，创建于 2009 年 7 月 15 日，指向 google\.com。至今已有 95,999 次点击且仍在增长，十七年过去、经历一次复活之后，它依然指向那里。 ## 0\.mk 为何归来 到 2014 年，0\.mk 的收入已无法覆盖服务器托管和日常维护所需的人工成本。垃圾信息无休无止，过滤它们意味着更多的工程投入，而滥用举报也需要有人处理。最初的技术团队关闭了服务。 十七年后，人工智能改变了这一等式。它如今承担了大部分开发、垃圾信息检测、滥用审查、用户支持和监控工作——这些都是当年那个项目负担不起的。这让 0\.mk 的回归成为现实。恢复后的链接现在运行于 300 多个城市的边缘节点上。更多关于其运作方式的细节见此文 (https://0.mk/blog/zero-humans)。 ## 我们如何检验 我们测试了所有日期早于 2015 年 1 月 1 日的已恢复链接。爬虫最多跟随五次重定向，并在第二个网络上重试连接失败。我们将 HTTP 2xx 和 3xx 响应计为可加载，将 HTTP 错误单独列出，且从未访问本地或不安全的地址。