跨真实数据集的本福特定律交互式探索工具

# 本福特定律：捕捉金融欺诈者的奇特定律 来源：https://vatsalbakshi.com/blog/benfords-law/ 一个从现实世界中随机挑选的数字，以数字 1 开头的概率是多少？ 直觉上的答案是九分之一——大约 11%。有九个非零数字。如果它们等可能，则每个数字获得相同份额。这是经典的概率论论证，看似天衣无缝。 但它是错的。而且是惊人地、可验证地、普遍地错。 在几乎所有从现实世界抽取的大型数据集中——城市人口、河流长度、价格、地震深度、公司收入——首位数字并非均匀分布。数字 1 作为首位数字出现的频率约为 30%。不是 11%。几乎是朴素预期的三倍。数字 9 出现的频率不到 5%。这并非某个特定数据集或某种特定测量单位的怪癖。它适用于以英里和公里测量的河流长度。它适用于 1938 年和 2022 年统计的人口数据。它适用于股票价格、湖泊表面积、恒星之间的距离。同一曲线，一遍又一遍地出现在本应毫无关联的数据中。 更奇怪的是，这条定律适用于斐波那契数列——一个纯粹由算术生成的整数序列，与物理世界毫无关联。它适用于 2 的幂。它适用于物理常数。这几乎有些不合理：一个单一的对数公式，描述了人类曾测量、计数或计算过的几乎所有数字的首位数字。 这就是本福特定律。经典概率直觉之所以失败，是因为现实世界的数字并非来自数字上的均匀分布——它们来自跨越多个数量级的过程，而在对数尺度上，1 到 2 之间的空间远大于 8 到 9 之间的空间。 --- 本文内容 1. 1 实时演示——斐波那契数列动态展示本福特定律 (https://vatsalbakshi.com/blog/benfords-law/#see-it-live) 2. 2 起源——从磨损的对数表到 20,000 个数据点 (https://vatsalbakshi.com/blog/benfords-law/#origins) 3. 3 数学原理——公式及尺度不变性的解释 (https://vatsalbakshi.com/blog/benfords-law/#the-mathematics) 4. 4 应用——欺诈检测、实际案例与流行文化 (https://vatsalbakshi.com/blog/benfords-law/#applications) 5. 5 数据集探索器——在八个真实数据集上亲自检验该定律 (https://vatsalbakshi.com/blog/benfords-law/#the-dataset-explorer) 6. 6 自行验证——原始数据、收集脚本与复现说明 (https://vatsalbakshi.com/blog/benfords-law/#verify-it-yourself) ## 实时演示 直方图正在根据斐波那契数列实时填充。观察柱子的最终位置：数字 1 约占总量 30%，数字 9 几乎不可见。虚线是理论预测。数据几乎完美地与之吻合。 这种现象出现在一个纯粹的数学序列中——不涉及任何现实世界数据——这首先提示我们，其背后存在比经验巧合更深层的原因。 ## 起源 这条定律有着不寻常的历史：被发现了两次，以第二位发现者命名，最终在首次观察到 60 年后才被严格证明。 **1881 年。** 加拿大裔美国天文学家兼数学家西蒙·纽科姆注意到他的对数表书籍有些奇怪。前几页——涵盖了以 1 开头的数字——明显比后面的页码更破旧、更脏。人们查找以 1 开头的数字的频率远高于以 9 开头的数字。他在《美国数学期刊》上发表了一篇短文，题为《关于自然数中不同数字使用频率的说明》 (https://www.jstor.org/stable/2369148)。文中他阐述了概率规则： > “数字出现的概率定律是，其对数的尾数等可能。” 这就是关键洞见。在对数尺度上，1.0 到 2.0 之间的空间与 4.0 到 8.0 之间的空间大小相同。因此，对数尺度上的均匀分布随机变量恰好产生这种首位数字分布。纽科姆的论文基本上被忽视了。 **1938 年。** 通用电气物理学家弗兰克·本福特独立在对数表中注意到相同现象，并进行了系统研究。他收集了涵盖 20 个不同类别的 20,229 个数据点：河流表面积、人口数据、物理常数、街道地址、分子量、报纸头版。在每个类别中，首位数字分布都与同一曲线相符。他在《美国哲学会会刊》上发表了《异常数字定律》 (https://www.jstor.org/stable/984802)。该定律以他的名字命名——尽管纽科姆早他 57 年。 **1995 年。** 西奥多·希尔严格证明了该结果。他表明，如果重复从多种不同分布中抽样并汇总结果，总体首位数字分布收敛于本福特定律。这个“来自随机分布的随机样本”定理解释了为什么该定律适用如此广泛：现实世界的数据集是许多不同底层过程的混合，而这种混合无论各组成部分如何都会收敛于本福特定律。论文《有效数字定律的统计学推导》 (https://projecteuclid.org/journals/statistical-science/volume-10/issue-4/A-Statistical-Derivation-of-the-Significant-Digit-Law/10.1214/ss/1177009869.full) 发表在《统计科学》期刊上。 ## 数学原理 公式简洁： P\(d\)=log⁡10⁣\(1\+1d\)P\(d\) = \\log\_\{10\}\\\!\\left\(1 \+ \\frac\{1\}\{d\}\\right\) 其中 d∈{1,2,3,4,5,6,7,8,9} 是首位数字。代入每个值： | 数字 | 预期频率 | |------|----------| | 1 | 30.1% | | 2 | 17.6% | | 3 | 12.5% | | 4 | 9.7% | | 5 | 7.9% | | 6 | 6.7% | | 7 | 5.8% | | 8 | 5.1% | | 9 | 4.6% | 这些总和恰好为 100%。该公式表明，首位数字 d 的概率等于对数数轴上首位数字为 d 的数字所占的比例——即区间 [d, d+1) 在对数尺度上的宽度。 ### 尺度不变性为何解释此定律 以下是关键约束。任何自然存在的量——长度、人口、价格——都可以用不同的单位测量。河流长度可以用公里或英里。股票价格可以用美元或日元。首位数字分布不应依赖于你选择的单位。如果依赖，你的测量系统就会影响统计模式——这对于一个普适定律来说将是一个奇怪的特性。 唯一在乘以任意正常数后保持不变的首位数字分布正是上述对数公式给出的分布。这不是巧合——这是该分布的定义性质。本福特定律是尺度变换的唯一不动点。 请尝试下方滑块。将滑块拖动，将斐波那契数据集中的每个数字乘以 0.001 到 1,000 之间的任意因子。右侧的分布始终与左侧的分布一致。 ### 定律不适用的情形 该定律要求数据跨越多个数量级。成年人类身高（约 1.5 米至 2.1 米）跨越不到一个数量级——本福特定律不适用。山峰高度（约 100 米至 8,849 米）跨越近两个数量级——适用。局限于狭窄范围的数据集，或由分配而非测量产生的数据（电话号码、邮政编码、身份证号码），不会遵循该定律。这条定律是广泛自然测量的属性，而非构造数据的属性。 ## 应用 ### 欺诈检测 当人们捏造财务数字——虚报的费用、虚构的交易记录、伪造的会计条目——时，他们倾向于让它们看起来“随机”。但人类对随机性的直觉校准得很差。人们避免使用 1 作为首位数字（感觉太小、太明显），而倾向于中间的数字如 3、5 和 7。 结果是一种特征性迹象：捏造数据的首位数字分布比本福特定律预测的更平坦、更均匀。偏差是可测量的。 真实会计数据 MAD —— 拟合良好 ✓ 捏造的数字 MAD —— 可疑 ✗ 人类发明的“随机”数字强烈偏向中间数字（3、5、7），并主动避免 1。本福特定律捕捉到了这种模式。 左图显示了紧密遵循本福特定律的分布——这是你在真实会计记录中预期看到的那种。右图显示了人类发明的“随机”数字实际的样子。本福特曲线（虚线）在两张图中相同。右侧的差距并不微妙。 法务会计师将其用作筛选工具。偏离本福特定律的数据集并不证明存在欺诈——数据集可能因合理原因不遵循该定律——但这是一个值得调查的信号。 ### 实际案例 **2009 年伊朗总统选举。** 在马哈茂德·艾哈迈迪内贾德有争议的连任后，密歇根大学政治学家沃尔特·梅班应用本福特定律分析了官方报告的选票总数。他的分析发现，报告投票数的第二位数字分布显著偏离了本福特的预测。已发表文章 (https://link.springer.com/article/10.1007/s00144-010-0003-4) 于 2010 年刊登在《CHANCE》期刊上；一份工作论文 (https://websites.umich.edu/~wmebane/note29jun2009.pdf) 于 2009 年 6 月流传。Roukema (2014) 在《应用统计杂志》上的一项独立分析 (https://arxiv.org/abs/0906.2789) 在同一数据中发现了首位数字异常。本福特分析是提示性的，而非结论性的——但它为反对派团体提出的担忧增添了统计权重。 **安然公司。** 在该公司 2001 年破产后，法务会计师将本福特分析应用于安然报告的财务数据。Mark Nigrini 的研究工作（关于本福特定律与财务欺诈，汇集于《法务分析学》 (https://www.wiley.com/en-us/Forensic+Analytics%3A+Methods+and+Techniques+for+Forensic+Accounting+Investigations%2C+2nd+Edition-p-9781119585763) (Wiley, 2012)）讨论了在会计欺诈调查中使用这一技术。本福特偏离并不证明操纵——安然的会计违规行为要直接得多——但该方法说明了该定律在法务实践中如何作为筛选过滤器起作用。 **希腊国家统计数据。** Rauch、Göttsche、Brähler 和 Engel 于 2011 年在《德国经济评论》上发表的一篇论文 (https://www.degruyterbrill.com/document/doi/10.1111/j.1468-0475.2011.00542.x/html)，分析了欧元区成员国提交给欧洲统计局的宏观经济数据。希腊数据显示出所有成员国中最大的本福特定律偏离，尤其是在 2009 年希腊真实赤字数据被揭露前的几年。作者指出，本福特偏离并非伪造的证据，但该发现为欧洲财政报告数据完整性的持续讨论做出了贡献。 ### 流行文化中的出现 **《指定幸存者》第二季（2017–2018）。** 角色埃米莉使用本福特定律分析报告的选举结果，识别出预期首位数字分布的偏差，作为结果被篡改的证据。该剧的描绘在本质上准确：方法、偏差以及统计论证均正确呈现。 **Numberphile (https://www.youtube.com/watch?v=XXjlR2OK1kM)。** 该 YouTube 频道于 2013 年制作了一期关于本福特定律的广受欢迎的节目，涵盖了公式及多个实际应用。它至今仍是大众首次接触该概念的主要途径之一。 **《连接》Netflix 2020 (https://www.imdb.com/title/tt12816822/)。** 纪录剧集《数字》全面介绍了本福特定律——其历史、数学原理以及在欺诈检测和选举分析中的应用。它仍然是现有最易于理解的深度长格式解读。 ## 数据集探索器 公式令人信服。历史引人入胜。但对于反直觉的论断，正确的反应不是接受它——而是检验它。 因此，与其仅仅相信数学，不如让我们亲自将其应用于真实数据。八个数据集，来自互不相关的领域：人口数据、经济数据、地理测量数据以及纯数学序列。每个数据集均直接从其主要来源下载——世界银行 API、美国人口普查局、维基数据查询服务——使用相同的首位数字提取方法处理，并与本福特预测值进行对比。 方法直接：取数据集中每个值的第一个有效数字，统计数字 1 到 9 各自出现的频率，并将所得分布与本福特曲线 P(d) = log₁₀(1 + 1/d) 进行比较。平均绝对偏差 (MAD) 衡量观测频率与预测频率之间的差距，按所有九个数字平均。按照法务会计标准，MAD 低于 0.006 为良好拟合；包含抽样偏差和测量噪声的现实世界数据自然略高。 计算序列——斐波那契和 2 的幂——MAD 分数低于 0.002，几乎完美拟合曲线。来自世界银行和人口普查局的经验数据集，尽管涵盖了完全不同尺度上的完全不同现象，却聚集在同一区域。这条定律并非杂乱数据的统计巧合，而是杂乱数据不断重新发现的数学真理。 ## 自行验证 这些图表背后的每一个数字都是可重现的。以下是如何追溯其来源。 **每个数据集出处。** 探索器中每个选项卡的标题栏都有一个“如何收集”按钮。点击它会打开一个面板，显示用于收集该数据集的确切 API 请求或 SPARQL 查询，以及数据最后获取的时间戳。源链接 ↗ 直接指向主要来源——世界银行指标页面、人口普查局 API 端点或预加载的维基数据查询（你可以在浏览器中自行运行）。 **原始数值。** 每个数据集存储为纯 CSV 文件，每行一个数值——在进行首位数字提取之前的未经处理的测量值。没有四舍五入、标准化或超出源 API 返回内容的聚合。 **重新运行收集。** 收集脚本需要 Node.js 18 或更高版本，除了站点已使用的依赖外无需额外依赖。运行它将访问实时 API，重新计算首位数字分布，并用新数据覆盖 CSV 和 JSON 文件。每个“如何收集”面板中的获取时间戳会更新为你运行的时间。 **计算过程。** 对于每个数据集，脚本执行三项操作：从源请求原始数值，使用公式 d = floor(|x| / 10^(floor(log₁₀|x|))) 提取每个正数的第一个有效数字，并计算数字 1 到 9 的频率。然后 MAD 得分为 (1/9) * Σ_{d=1}^9 |f_d - log₁₀(1 + 1/d)|，其中 f_d 是观测频率。这就是完整流程。 --- ## 来源 - Newcomb, S. (1881). “Note on the Frequency of Use of the Different Digits in Natural Numbers.” *American Journal of Mathematics*, 4(1), 39–40. JSTOR (https://www.jstor.org/stable/2369148) - Benford, F. (1938). “The Law of Anomalous Numbers.” *Proceedings of the American Philosophical Society*, 78(4), 551–572. JSTOR (https://www.jstor.org/stable/984802) - Hill, T. P. (1995). “A Statistical Derivation of the Significant-Digit Law.” *Statistical Science*, 10(4), 354–363. Project Euclid (https://projecteuclid.org/journals/statistical-science/volume-10/issue-4/A-Statistical-Derivation-of-the-Significant-Digit-Law/10.1214/ss/1177009869.full) - Nigrini, M. J. (2012). *Forensic Analytics: Methods and Techniques for Forensic Accounting Investigations*. Wiley. (https://www.wiley.com/en-us/Forensic+Analytics%3A+Methods+and+Techniques+for+Forensic+Accounting+Investigations%2C+2nd+Edition-p-9781119585763) - Rauch, B., Göttsche, M., Brähler, G., & Engel, S. (2011). “Fact and Fiction in EU-Governmental Economic Data.” *German Economic Review*, 12(3), 243–255. De Gruyter (https://www.degruyterbrill.com/document/doi/10.1111/j.1468-0475.2011.00542.x/html) - Roukema, B. F. (2014). “Benford’s Law anomalies in the 2009 Iranian presidential election.” *Journal of Applied Statistics*, 41(2), 266–279. arXiv (https://arxiv.org/abs/0906.2789) - Mebane, W. R. (2010). “Fraud in the 2009 Iranian Presidential Election?” *CHANCE*, 23(1), 6–15. Springer (https://link.springer.com/article/10.1007/s00144-010-0003-4) - Numberphile. (2013). “Benford’s Law” [Video]. YouTube. (https://www.youtube.com/watch?v=XXjlR2OK1kM) - Connected. (2020). “Digits” [TV episode]. Netflix. (https://www.imdb.com/title/tt12816822/)