立场：AI排行榜未能充分服务全球南方：印度案例研究

# 立场观点：人工智能排行榜未能有效服务于全球南方——以印度为例  
来源：https://arxiv.org/html/2608.18117  

###### 摘要  
本文认为，人工智能排行榜在结构上不适合服务全球南方，因为它们缺乏独立的治理机制、利益冲突政策以及指标更新机制。障碍并非数据缺失——高质量的区域基准测试已然存在：印度的IndicSUPERB、MILU和LAHAJA；非洲的IrokoBench；阿拉伯语的AlGhafa。真正的问题在于制度设计。全球性排行榜未纳入这些基准测试，且缺乏治理机制来强制其纳入。当全球北方的付费客户受到影响时，商业压力可以纠正排行榜的失误，但全球南方缺乏同等的制衡力量。由于缺乏治理机制，影响印地语、斯瓦希里语或阿拉伯语使用者的问题会持续存在，形成有记录但未解决的缺口。  

以印度为案例研究（14亿人口、22种官方语言、拥有高质量基准测试但缺乏可信的聚合平台），我们基于对82名人工智能从业者的咨询发现：受访者强烈倾向于建立正式的、非政府的治理框架，并支持基于透明度的利益冲突管理机制。我们的贡献在于制度层面而非技术层面——我们将论证为何治理是核心解决方案，并以印度为例展开说明。  

人工智能评估、排行榜、多语言人工智能、全球南方、印度、治理、文化人工智能、口音多样性  

## 1 引言  
人工智能排行榜在AI生态系统中具有重要影响力。政府在其采购指南中引用排行榜结果（《预算管理办公室》，2024；Ravindran，2025）；企业在供应商选择时参考排行榜；投资者在尽职调查中引用排行榜数据。研究表明，企业为提升排行榜名次投入巨资，顶尖模型可能消耗数十万美元的计算资源（Eriksson等人，2024）。当排行榜宣布某模型为“最佳”时，该信号会进入采购候选名单和投资备忘录。  

由于基准测试定义了指导模型优化的隐性损失函数，排行榜治理直接影响机器学习研究方向，也是机器学习界关注的技术问题。我们认为，缺乏利益冲突政策和独立监督的人工智能排行榜在结构上不适合服务全球南方，而建立具有独立治理的区域排行榜基础设施，对于新兴人工智能生态系统的成熟至关重要。  

术语说明：  
- **基准测试**指包含数据集、评估协议和指标的评测体系（如MMLU）  
- **排行榜**指聚合基准测试结果并形成排名的平台（如Open LLM Leaderboard）  
- **治理**指决定决策方式、执行主体和冲突管理的制度结构  

当从高排名中获益的同一方控制评估过程时（例如模型开发者同时设计基准测试、裁定边界案例或决定指标更新时机），就存在**利益冲突**。这与恶意无关，而是指结构性激励机制可能在善意下仍导致结果偏差。  

我们的批判针对排行榜治理机制而非基准测试质量。优秀的基准测试已经存在，但缺乏确保其结果由无利益冲突方聚合排名的制度基础设施。瓶颈不在测试质量——高质量的区域基准测试已存在：印度的IndicSUPERB、MILU和LAHAJA；非洲的IrokoBench（Adelani等人，2025）；阿拉伯语的AlGhafa。全球排行榜只是没有使用它们。缺失的是**制度基础设施**：在透明治理下实现可信的聚合。  

利害关系迫在眉睫。印度12亿美元的IndiaAI任务（财政部，2025）引用的全球基准测试无法充分反映印度语言现实。类似情况遍布全球南方：从尼日利亚到印度尼西亚，政府和企业依赖的排行榜信号并未反映其人口的真实需求。对82名人工智能从业者的咨询（第6.2节）证实了对正式治理的需求：所有受访者支持某种形式的正式治理，64%倾向非政府主导，68%支持基于透明度的利益冲突管理而非预先排除。  

我们的立场具有可证伪性：第9节明确了区域基础设施变得不必要的具体条件。全文批判的是治理结构而非具体组织。专业能力在角色间的集中（模型开发、基准测试创建、排行榜运营）在新兴生态系统中是自然现象，关键问题在于是否存在透明的治理结构来管理这种集中。  

**范围与局限**：作为立场文件，本文论证区域排行榜基础设施与独立治理的必要性，而非具体实施方案。我们不提供实施蓝图、资助模式或技术规格——这些需要超越单篇论文范围的针对性探讨。我们的咨询样本（n=82）具有说明性而非代表性；样本偏向生产型AI开发者（82人中52人），无法代表终端用户或公民社会——恰恰是我们认为代表性不足的群体。我们使用的类比（10/90差距、后文讨论的考试委员会）揭示了结构动态但存在局限。我们指出了协调挑战（区域排行榜的联邦化）但未提供解决方案，这些是未来研究方向而非动摇核心立场的缺口。  

**利益冲突披露**：S. Banerjee是印度理工学院卡拉格普尔分校研究员，同时隶属于印度语音AI公司Shunya Labs。S. Saha隶属于印度行业协会Nasscom，该协会的AI利益相关者网络分发了本次从业者咨询，部分结果报告于第6.2节。本文未评估任何Shunya Labs模型，作者均未在所讨论的任何排行榜治理委员会任职。我们根据本文倡导的治理规范披露这些关联信息。  

## 2 为何排行榜至关重要  
人工智能排行榜已从学术评分榜演变为影响AI生态系统的关键基础设施。理解其依赖群体可揭示其局限性的重要意义。  

**排行榜作为隐性损失函数**：从优化视角看，排行榜是AI开发生态系统的隐性损失函数。排行榜赋予的指标权重成为组织优化的目标。当排行榜奖励英语文本的词错率时，优化循环会激励在英语词边界表现优异但对黏着语形态表征不足的模型。我们记录的部署故障与系统性优化压力一致，而非简单错配（图1）。  

**图1：论点演进**  
全球排行榜使用静态指标（WER、MMLU）→ 技术缺口（指标、口音、文化）+ 治理缺口（利益冲突、可及性、问责）→ 添加情境指标（仍为静态、无演进）→ 治理仍然缺失 → 区域基础设施 → 情境感知指标 + 独立治理 → 自适应能力（需刻意设计）  

**表1：不可靠排行榜的利益相关者影响**  
- **政府**：在AI采购和政策文件中引用全球排名  
- **企业**：无法依赖以英语为中心的排行榜预测代码转换表现（全球多语言联络中心的主流模式）  
- **初创企业**：为本地市场开发的企业缺乏展示区域语言能力的平台  
- **普通公民**：承担风险却无话语权  

关键在于，普通公民承受风险却无话语权。与政府语音助手互动的印度农村农民，或使用AI诊断工具的尼日利亚医护人员，消费的是通过排行榜影响采购选定的AI系统，却在治理层面毫无发言权。关于"算法迁移"的研究（Longoni等人，2022）表明，有缺陷的AI会削弱对部署机构的信任。技术与治理缺陷相互强化：不恰当的指标得以持续，是因为设定者无需为承受后果者负责。  

后果已有记录：GPT-4生成的印地语内容幻觉率显著高于英语（Das等人，2025）；88%的印度语境AI生成故事包含文化失实（Bhagat等人，2025）；领先ASR模型在少数方言上表现显著下降（Harris等人，2024）；智能体AI性能从基准条件下的60%降至生产环境的25%（Mehta，2025）。这些是模型为全球基准优化后遭遇区域现实时产生的系统性结果。  

## 3 对全球南方的不对称影响  
人工智能排行榜的治理缺陷影响所有地区，但对全球南方影响尤为严重。本节将解释原因。  

### 3.1 排除问题  
全球排行榜不仅存在治理问题，更存在内容问题。其使用的基准测试系统性排除全球南方。以HuggingFace开源ASR排行榜及其"多语言ASR评估"部分为例：它包含德语、法语、意大利语、西班牙语和葡萄牙语五种语言，均属欧洲语系，且评估集反映欧洲变体而非巴西葡萄牙语、西非法语或拉丁美洲西班牙语（这些语言的主要使用者）。缺失印地语（6亿+使用者）、阿拉伯语（3.7亿+使用者）、斯瓦希里语（1亿+使用者）、印尼语（2亿+使用者）、孟加拉语（2.7亿+使用者）。这些语言的区域基准测试已经存在：印度语言的IndicSUPERB和LAHAJA，非洲语言的IrokoBench，阿拉伯语的AlGhafa，但排行榜根本没有使用。  

这一模式不仅限于语音识别。对MMLU的研究发现，84.9%的地理问题仅聚焦北美或欧洲地区（Singh等人，2025b）。英语占Common Crawl训练数据的43.8%，但使用者不足全球人口20%。阿拉伯语作为全球第五大语言，在训练数据中占比不足1%。超过2000种非洲语言在AI模型中被大幅忽视（《自然》社论，2025）。  

数据稀缺与治理缺陷相互补充而非对立。上游训练数据不平衡（如阿拉伯语在Common Crawl中不足1%）是真实问题，需要数据收集与整理投入。英语在索引网络中的份额本身约为50%，因此Common Crawl中43.8%的比例反映的是互联网整体偏差而非基准设计缺陷。我们的论点聚焦于数据存在后的情况：高质量区域基准测试已建立，却仍被全球排行榜忽视，因为没有治理机制强制其纳入。数据差距与治理差距需要不同干预措施，两者都必要。本文聚焦后者，并非因为前者不重要，而是因为前者已被广泛认知而治理缺陷尚未被充分认识。  

### 3.2 市场为何无法解决此问题  
全球健康研发治理导致对影响全球南方疾病的系统性投入不足——这不是通过恶意，而是通过优化不同优先级的结构实现的。"10/90差距"描述了仅10%的健康研究针对导致全球90%疾病负担的疾病（Røttingen等人，2013）。癌症研究能吸引资金是因为富裕国家患者能支付治疗费用。疟疾研究资金不足是因为受影响人群无力承担。  

AI评估基础设施呈现类似忽视：当英语ASR模型失败时，企业会升级问题、合同受到威胁、工程资源被分配修复；当同样模型在印地语或豪萨语上失败时，问题仅被记录为范围限制，虽被承认但未获优先处理。这种不对称是结构性而非故意的。  

与被忽视热带疾病的类比仅具启发性且有明显局限：AI模型可通过微调以比新药试验更低的成本进行适配（Xia等人，2024）。但该类比在关键点上成立：微调**能力**不创造微调**动机**。缺乏市场压力或治理要求时，技术可能性无法转化为实际适配。市场压力为全球北方创造问责机制，却未为全球南方创造同等机制。这不是对任何组织的批评，而是对结构性激励的描述。没有市场力量会推动全球排行榜采纳针对桑塔尔语、豪萨语或克丘亚语使用者的区域基准测试。没有治理强制纳入，包容性就不会实现。  

### 3.3 不对称影响的四种机制  
**逃生路线不对称**：资源丰富环境中的复杂主体可进行独立评估或维护内部基准测试基础设施。资源受限主体必须接受全球信号作为权威依据。班加罗尔的采购官员必须依赖西雅图同行可通过企业级评估团队独立验证的排行榜。  

**漏洞修复优先级不对称**：当GPT-4在英语中产生幻觉时，企业客户提交工单，问题会获得工程关注；当其在印地语中幻觉率更高时，行为被定性为低资源语言的预期性能差异。目前没有任何机构有权将印地语性能降级视为首要缺陷。  

**制度冗余**：全球北方拥有多重机构核查AI能力声明：学术同行评审、企业采购团队、监管机构、消费者倡导组织。全球南方缺乏这种制度冗余，单个排行榜信号可能同时影响政策、采购和投资决策。  

**历史路径依赖**：现有排行榜反映历史优先级，其惯性使新基准测试面临"先有鸡还是先有蛋"困境：排行榜不采用区域基准测试，导致关注度不足；缺乏关注度又使排行榜缺乏采用动力。治理机制可打破此循环，但需要主动干预。