TheNumbers.com发生了什么

# TheNumbers.com 发生的事，我们所有人都应引以为戒 来源: https://stephenfollows.com/p/what-just-happened-to-thenumberscom-should-worry-us-all 如果你在电影行业或相关领域工作，那么本月你很可能已经使用过The Numbers (https://www.the-numbers.com/) 的数据，无论你是否意识到这一点。 其人工研究的数据质量最高，追踪了超过78,000部电影和236,000名从业者的票房收入、预算、家庭录像和流媒体数据。它每年吸引超过八百万访客 (https://www.guinnessworldrecords.com/records/partners/organisations/the-numbers)，并被记者、学者、电影制作人、预测市场 (https://polymarket.com/predictions/box-office)，甚至吉尼斯世界纪录 (https://www.guinnessworldrecords.com/records/partners/organisations/the-numbers) 视为终极权威。 正是这种“史上最佳”的地位，导致了今年三月的灾难性事件。 2026年3月5日，TheNumbers.com (https://www.the-numbers.com/) 网站消失了。 [](https://substackcdn.com/image/fetch/$s_!Jv4W!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F730e3c9b-f856-4142-ad5a-b0aa0ef37425_1186x668.jpeg) 该网站宕机超过一周 (https://www.reddit.com/r/boxoffice/comments/1rqwblr/thenumberscom_has_been_down_for_a_week/)，没有任何解释。一周后，它重新上线，但规模已大不如前。历史图表、单个电影页面，甚至备受喜爱的报告生成器都不见了。 互联网上只有一个通用的“我们正在重建，请耐心等待”的消息，人们像往常一样反应——困惑、愤怒和阴谋论。Reddit 上的一种理论甚至认为这是一场精心策划的拉地毯 (https://www.reddit.com/r/boxoffice/comments/1u0b48n/so_thenumbers_clearly_did_a_rug_pull_on_their/)，旨在削弱免费网站，将用户推向付费产品。 三个月后，我与 The Numbers 的创始人兼 CEO Bruce Nash 详细交谈了发生的事情。他描述了一段非常不愉快且多事的经历： > 我们收到了很多愤怒的邮件，人们问，‘你们以前有的那个页面现在去哪了？’ 在他的叙述中，有几点应该引起任何运营、依赖或仅仅欣赏互联网的人的担忧。 1997年10月17日，星期五，数学家、前IBM软件开发者 Bruce Nash 创建了一个 Geocities 网站 (https://web.archive.org/web/20171022062126/http://www.the-numbers.com/news/225810830-Numbers-Turns-20-The)，追踪300部电影。 Bruce 在一篇20周年纪念文章 (https://web.archive.org/web/20171022062126/http://www.the-numbers.com/news/225810830-Numbers-Turns-20-The)（由于即将明了的原因，该文章仅存于互联网档案馆）中描述了网站的上线过程： > 我在一个Access数据库中按下一个按钮，将一些HTML页面上传到Geocities，并在好莱坞股票交易所的留言板上发布了一个简短公告，告诉大家我开始分析电影的票房，以帮助他们在HSX上挑选MovieStocks进行交易。 [](https://substackcdn.com/image/fetch/$s_!_i4X!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6208b330-c81f-4629-be43-3eb0c921eef3_3014x1440.png) 从这些不起眼的开端开始，Bruce 和他围绕网站建立的团队将 The Numbers 打造成了电影行业最可靠的财务数据来源。 到2026年初，该数据库追踪了78,396部电影，178,375条院线上映记录和236,176名从业者。 在其存续期间，The Numbers 面临的挑战发生了巨大变化。在其最初的四分之一个世纪左右，流量是可管理的，并且大多是有礼貌的。正如 Bruce 所说： > 在AI时代之前，我们有人类流量，大多是行为良好的搜索引擎爬虫，以及一些为个人项目爬取网站的人。如果有人太贪婪，我们就能发现并阻止他们。 在过去几年里，世界各地的网站所有者都看到他们的网络流量发生了变化。最初只是人们浏览，后来出现了越来越多的机器人。到2024年，自动化流量已经超过人类流量 (https://www.imperva.com/blog/bad-bot-report-2026-bots-agentic-age/)，就在上个月，Cloudflare 宣布机器人已占网页请求的57.5% (https://www.forbes.com/sites/josipamajic/2026/06/04/bots-now-outnumber-humans-online-and-the-internet-was-never-built-for-this/)。 The Numbers 通过两个明显的浪潮感受到了这种转变。第一次大约始于2024年： > 随着AI训练加入搜索引擎爬虫的行列，我们看到了爬取次数的大幅增加。AI爬虫通常不如搜索引擎行为良好，这增加了我们保持网站平稳运行的管理任务。 第二次浪潮更猛烈，更具破坏性： > 大约在2025年12月，我们看到了另一次巨大的流量激增，我将其归因于代理型AI：这是响应提示而爬取网站的AI代理，与人们能够编写爬取网站的代理相结合。 像每个数据丰富的网站一样，到2026年初，The Numbers 正受到AI机器人以工业规模反复爬取其页面的猛烈冲击。Bruce 表示，只有10%的流量来自浏览网站的人类，其余来自AI机器人和自动化流量。 [](https://substackcdn.com/image/fetch/$s_!Bfi4!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fba3006fe-2a07-4c07-a709-f146b600d5ec_1513x837.png) 这给网站带来了巨大压力，但 Bruce 和他的团队能够采取措施减轻最坏的情况。最聪明的方法之一是用机器人的语言与它们对话： > 网站上有一些内容是为大语言模型设计的，这样它就可以告诉别人‘这是如何许可数据的方式’，而不是‘这是如何爬取网站的方式’。这产生了巨大的效果。我们现在收到的许可查询量可能是以前的十倍。 但缓解不等于逃脱。从12月到3月初，团队努力在负载下维持网站运行。Bruce 估计： > 我们大约90%的时间都花在维护现有网站上，而用零碎时间开发一个新的、改进的系统。 问题因为网站的年龄而变得更加复杂：它已经运行了三十年，拥有大约16万个源文件，提供约200万个页面。 然后，在3月5日星期四的凌晨，服务器崩溃了。 团队争先恐后地试图了解发生了什么，最初认为是AI流量的巨大压力。似乎AI是罪魁祸首……但可能并非完全是他们最初想的那样。 淹没在代理型流量的洪水中，网站日志显示了一些比爬取更具针对性的行为。正如 Bruce 所描述的那样： > 其中一些使用合法的URL访问网站，另一些则在寻找后门，最有可能的是为了在数据出现在网站之前获取它，或者操纵呈现给用户的数据。 在一位网络安全领域的朋友的建议下，旧服务器永久关闭了。是的。恢复备份并让这个有30年历史的网站重新上线，意味着要防御16万个遗留文件，抵御那些花费数月时间探测它们的攻击者。 团队匆忙在新基础设施上搭建了一个网站的骨架版本，至少可以在他们评估发生了什么以及下一步该怎么做时，继续提供最新的票房数据。它于3月13日星期五上线。 乍一看，The Numbers 似乎不是一个明显的目标。它不收集信用卡信息，也没有诱人的客户数据可以在暗网上转售。它是一家小型独立公司，发布电影赚了多少钱。 有人怎么能仅仅通过私下访问他们的网站就指望赚钱呢？ 如果你还没猜到，这与预测市场有关。 Polymarket (https://en.wikipedia.org/wiki/Polymarket) 每周都在首映周末运营市场，并将 The Numbers 列为最终真相来源 (https://polymarket.com/event/disclosure-day-opening-weekend-box-office)： > 一旦该电影在 The Numbers 页面上的‘票房’选项卡中‘每日票房表现’数据的3天首映周末值最终确定，将使用这些数据来解决这个市场。 任何单个周末市场的金额按金融市场标准来看都不大，通常在数万到数十万美元之间，在任何特定时间，活跃的票房市场总金额约为几百万美元 (https://polymarket.com/predictions/box-office)。 如果你能比其他人更早看到 The Numbers 的数据，每周都是如此，那么你将比所有其他交易者拥有显著优势——在数据公布前知道答案，可以让你提前交易。 在这种情况下，很难确切知道发生了什么。我们知道日志显示网站被自动化方式探测和爬取了数月，但到底是什么最终导致网站宕机，以及是谁干的，仍然是个悬而未决的问题。 但有人利用AI在预测市场中获得优势的理论是完全合理的。The Numbers 的经历告诉我们： 1. **我们现在生活在一个电影统计数据网站值得被黑客攻击的世界，因为预测市场使任何人都能将几乎任何数据转化为金钱**。 2. **现在任何人都可以凭借廉价的AI订阅服务来黑客攻击网站**。 3. **我们现有的网络在面对大规模代理型AI机器人集群时极其脆弱**。 2025年11月，Anthropic（Claude背后的AI实验室）发布了一份报告，称其为有记录以来首个AI策划的网络间谍活动 (https://www.anthropic.com/news/disrupting-AI-espionage)。一个由国家资助的组织使用其编码工具攻击了大约30个组织，其中AI完成了80%到90%的工作，人类在每个活动中仅介入4到6个决策点。 Anthropic 自己的结论是： > 实施复杂网络攻击的门槛已大幅降低，我们预测这一趋势将持续下去。 在更早的一份威胁报告 (https://www.anthropic.com/news/detecting-countering-misuse-aug-2025) 中，Anthropic 表述得更清楚： > 技术能力不高的犯罪分子正在使用AI进行复杂操作，例如开发勒索软件，而这以前需要多年的训练。 与此同时，一个名为XBOW的自主AI渗透测试工具在HackerOne的美国排行榜上排名第一 (https://xbow.com/blog/top-1-how-xbow-did-it)，该排行榜曾经全是人类，用于发现真实公司的安全漏洞以获取赏金，它在此过程中提交了近1,060个漏洞。 访问一个有16万个遗留文件的30年历史网站，正是AI工具使得探测成本降低的那种已知缺陷表面。曾经保护小型网站免受除最坚定攻击者之外所有人攻击的专业知识壁垒，已基本消失。 Bruce 和他的团队相对幸运。尽管整个网站一夜之间瘫痪，但他们能够继续前进。The Numbers 一直免费使用，并且过去几年并不严重依赖广告，所以宕机并没有摧毁他们赖以为生的收入来源。 他们的核心业务与通过OpusData服务销售批量数据、为电影制作人和投资者制作竞争分析报告以及发布商业报告 (https://www.the-numbers.com/business-report/) 相关——所有这些都没有受到公共站点宕机的影响。 但他们需要从头开始构建一个全新的网站，来托管那78,396部电影、178,375条发行记录和236,176名从业者的数据。从备份中恢复网站不是一个选择，正如 Bruce 指出的那样： > 很明显，我们不能简单地把那台服务器重新上线，因为它会不可避免地再次瘫痪，可能就在几分钟内。 这就是为什么网站在3月中旬以极简的形式回归，功能也是逐步恢复，而不是一下子全部恢复。 现在，团队不得不重新考虑2026年的公共网站究竟意味着什么。Bruce 的分析是，The Numbers 曾经服务于两个受众（人类和搜索引擎），而现在大约服务于六个：人类、搜索引擎、大语言模型训练运行、基于提示词的AI流量、代理型AI以及预测市场参与者。每个都有不同的需求和流量特征。正如他所说： > 我们已经从一个运营网站意味着专注于三件事（内容、广告和搜索引擎优化）的世界，变成了每个设计决策都需要考虑大约八到十个不同因素。 他说，目标是支持所有这六类受众，为商业报告订阅者提供新的OpusData服务和在线功能，重要的是，帮助网站的普通人类用户恢复网站一直提供的数据，其中一些数据将以新的和改进的形式呈现。 说实话，情况相当糟糕。糟糕到像 Bruce 这样的网站所有者不得不质疑花费如此多时间和金钱来构建和防御的东西的价值。 Cloudflare (https://www.cloudflare.com/)，保护着世界上一大部分网站，它发布数据，显示每个AI平台每爬取多少页面才会向其所爬取的网站回引一个访客。 Google 每回引一个访客大约爬取5个页面。OpenAI 爬取超过1,000个。Anthropic 每回引一个访客爬取超过38,000个页面。 [](https://substackcdn.com/image/fetch/$s_!_nAB!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F74ff54cc-52e4-44b1-98a8-a40ac7a8059e_1551x840.png) *请注意，比例尺是**对数**的，即底部的每一步都比前一步大十倍，否则差异太大，我无法放在一个图表上。* 在迄今为止的互联网历史中，开放网络的原则是，作为让搜索引擎机器人读取你网站的回报，它们会给你带来读者。但现在，这种交换不再适用。机器人的数量已经爆炸式增长，而且它们不再回引任何人。 当这股洪流对准一个小型网站时，它可能会推高带宽账单，甚至可能使整个网站瘫痪。与 Bruce 经历类似的网站包括： - Read the Docs (https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse/)，一个托管开源软件文档的非营利组织，发现一个爬虫在一个月内下载了73太字节的压缩HTML，花费了它超过5,000美元的带宽费。 - iFixit (https://www.404media.co/anthropic-ai-scraper-hits-ifixits-website-a-million-times-in-a-day/)，一个维修指南数据库，其日志显示Anthropic的爬虫在一天之内点击了100万次。 - Triplegangers (https://techcrunch.com/2025/01/10/how-openais-bot-crushed-this-seven-person-companys-web-site-like-a-ddos-attack/)，一家销售3D扫描的七人公司，在营业时间被OpenAI的机器人攻击下线，其CEO将其描述为“基本上是一次DDoS攻击”。代码托管服务SourceHut的创始人报告说，每周“在任何给定的一周内要花20%到100%的时间” (https://drewdevault.com/blog/Stop-externalizing-your-costs-on-me/) 来对抗AI爬虫，导致“每周出现数十次短暂宕机”。 - Linux新闻网站LWN的编辑描述了来自“字面上数百万个IP地址”的爬虫流量 (https://lwn.net/Articles/1008897/)，并得出结论：“这*是*一次分布式拒绝服务攻击”。 - 当GNOME开源项目测量其流量时，大约97%被证明是机器人 (https://thelibre.news/foss-infrastructure-is-under-attack-by-ai-comp