从文化遗产保护视角重新思考Indic AI

# 从文化遗产保护视角重新思考印度次大陆人工智能

来源：https://arxiv.org/html/2607.06544

###### 摘要

随着人工智能（AI）逐渐渗透到印度次大陆的不同地区，研究AI如何影响这一文明的语言与文化基础正引起广泛关注。AI被视为一把“双刃剑”：一方面，它能够为大量人口提供接入与包容的机会；另一方面，它也可能同质化世界观，并排斥代表性不足的语言与世界观。本文试图通过探讨印度语言学的广泛特性及其与文化实践和世界观的紧密联系来剖析这一问题。接着，我们对自然语言处理（NLP）技术在该领域的发展历程进行了纵向调查，追溯了印度语言NLP的历史演进，涵盖关键里程碑、方法论转变以及资源建设努力。此外，本文还考察了印度语言的结构与社会语言学特征，例如丰富的形态、复杂的文字与语法规则、双言现象以及大量方言变体，并解释了这些特征如何为构建AI基础模型带来独特挑战。随后，我们讨论了印度语言基础模型日益重要的作用，并分析了这些模型如何解决长期存在的资源与代表性缺口。最后，我们提出一个名为“文化感知”（Culture Sensing）的研究方向，该方向基于解释学推理重新构想AI。文化感知旨在解决诸如确保低资源语言的公平性能以及产生具有文化意义的输出等开放性问题。通过整合以往工作、当前技术和新兴趋势，本文提出了能够指导印度语言NLP下一阶段发展的研究方向，并有助于开发更稳健、更具包容性的印度语言基础模型。

印度语言NLP，文化遗产，大型语言模型，算法同质化，文化感知

††版权：无
††CCS：计算方法 自然语言处理
††CCS：应用计算 艺术与人文学科
††CCS：社会与专业议题 计算/技术政策
††CCS：应用计算 数字图书馆与档案

## 1. 引言

印度语言是指印度次大陆（包括印度、尼泊尔、斯里兰卡、巴基斯坦、不丹、孟加拉国等国）广泛使用的语言谱系——这些语言拥有悠久的历史和深厚的文化渊源，共同构成了世界总人口的五分之一以上。印度次大陆拥有悠久而丰富的语言历史，孕育了种类繁多的语言。每种语言通常使用不同的文字，并拥有丰富的文学遗产。仅在印度，宪法就承认22种主要文学语言为官方语言。此外，还有约121种其他非官方但重要的语言，以及超过19000种次要语言、方言和克里奥尔语。语言在次大陆不同地区也具有重要的文化意义，常常塑造着各自独特的区域认同。在印度次大陆，可以观察到一种与生俱来的解释学多样性。次大陆的人口通常持有源自社会文化话语的多元视角。图1（https://arxiv.org/html/2607.06544#S1.F1）展示了几组句子对：一个英文源句，以及对应的印度语言（印地语和卡纳达语）翻译。在第一个句子中，可以看到在陈述“我昨天和朋友去看电影”这样的语句时，不得不提及性别。从第二个句子可以看出，表达拥有房屋的含义时，使用了表示“身份”而非“所有权”的词语。这些细微之处不仅反映了语言分歧，也体现了潜在的解释学差异。

参考图注
图1：翻译句子对揭示了印度次大陆与生俱来的世界观

将AI融入印度次大陆的文化与语言景观，必将深刻塑造该地区的发展与进步。对印度而言，AI的应用受双重需求驱动：一是跨越传统基础设施鸿沟的潜力（AIForAll，2018（https://arxiv.org/html/2607.06544#bib.bib6）；Kalyanakrishnan 等人，2018（https://arxiv.org/html/2607.06544#bib.bib79））；二是希望保存、扩展并传播其丰富的文化（Choudhary and Sukhvir，2025（https://arxiv.org/html/2607.06544#bib.bib42））与语言（Krishna 等人，2025（https://arxiv.org/html/2607.06544#bib.bib88））多样性。AI有望促进包容性、经济增长乃至社会公益（Maheshwari，[n.d.]（https://arxiv.org/html/2607.06544#bib.bib104））。印度多元的社会文化结构也有望受益于利用AI进行文化与遗产的修复与保护。AI可以增强如“Vasudhaiva Kutumbakam”（意为“世界是一家”）这样的传统价值观，确保技术专注于包容性和以社区为中心。除此之外，数字素养和使用的提高，导致互联网上印度语言内容在多个平台（包括社交媒体、新闻媒体等）上的增长。技术进步正迅速渗透到印度人口中，预计到2025年，印度语言互联网用户数量将超过9亿（印度经济新闻，2025（https://arxiv.org/html/2607.06544#bib.bib69））。这种进步要求语言技术能够使人们以母语获取信息。

然而，AI的潜力面临着显著的采用瓶颈，主要源于数字鸿沟和语言挑战。这在当今的大型语言模型（LLM）中尤为明显，由于模型训练数据中不同世界观的代表性不平衡，以及用户群体及其反馈（这些反馈随时间推移对模型响应进行微调）的代表性不平衡，LLM容易导致解释学解释的同质化。在印度语言的情况下，这个问题更加突出，因为LLM被证明会与特定子群体的语言模式不成比例地对齐（Sourati 等人，2025（https://arxiv.org/html/2607.06544#bib.bib156））。同时，也观察到个体（或群体）在算法决策中仅会遭受负面结果。例如，当所有公司都使用类似的简历筛选算法时，求职者可能会在申请的许多工作机会中被拒绝（Bommasani 等人，2022a（https://arxiv.org/html/2607.06544#bib.bib34））。算法偏见的主要原因不仅在于印度语言文本的代表性不足，也在于印度次大陆多样世界观的缺失。大多数LLM是在主要收集自城市语境的英语数据集翻译基础上训练的。当应用于印度语境时，它们无法泛化到不同的文化细微差别。

多项举措一直专注于印度语言的NLP——简称为印度语言NLP，旨在构建多种印度语言的代表性数据集，并对印度语言的不同语言特征进行建模。印度语言NLP有其自身的演进历史，在某种程度上与主要聚焦于英语、其次才是其他欧洲语言的主流NLP研究并行。长期以来，针对印度语言的语言技术研究已经开展了大量工作，并且至今仍在持续进行。关于LLM文化对齐的研究（Bhagat 等人，2026（https://arxiv.org/html/2607.06544#bib.bib13）；Agarwal 等人，2026（https://arxiv.org/html/2607.06544#bib.bib3））也日益受到关注。这些研究为印度语言NLP社区贡献了宝贵的资源，如语料库和模型。确保解释学多样性和语言多样性得到协调一致的保护至关重要。

尽管在印度语言NLP的模型、数据集和基准测试方面取得了实质性进展，但当前的语言模型仍然缺乏对众多世界观的代表性。为了保护印度次大陆的文化多样性，必须确保正在构建的模型能够代表相应的解释学多元性。在本文中，我们对印度语言的NLP研究进行了纵向研究。我们概述了该领域研究的演进历程以及所探索的不同范式。由于NLP格局动态变化，据我们所知，我们仅纳入了截至2025年发表的研究。我们还考察了当前面临的挑战，包括在低资源语言和方言之间实现公平性能，以及在生成式输出中保持文化和语言的保真度。我们还引入了一个新的研究方向——“文化感知”（Culture Sensing），它基于解释学推理重新思考AI框架。我们借助两个不同的用例来佐证这一理念，这些用例利用AI技术分析鲜为人知的知识体系。文化感知利用各个本土社区中充满活力的多模态知识体系，并在AI模型中呈现相应的世界观。通过这种方式，重点在于使AI模型变得多元和包容，从而保护濒临消亡的鲜为人知的知识体系。

通过整合基础研究、当代方法和新兴趋势，本文制定了战略性的研究方向，旨在促进稳健、文化包容的印度语言NLP的发展。第2节（https://arxiv.org/html/2607.06544#S2）提供了NLP领域发展的背景，以及构建高效NLP系统需考虑的印度语言区别于其他语言的特征。第3节（https://arxiv.org/html/2607.06544#S3）回顾了印度语言NLP从诞生至今的不同工作，考虑了不断演进的方法。第4节（https://arxiv.org/html/2607.06544#S4）概述了印度语言NLP面临的独特挑战并讨论了缓解策略。第5节（https://arxiv.org/html/2607.06544#S5）讨论了“文化感知”这一提议，以激发对文化包容性AI的需求，并指明了实现该目标的途径。

## 2. 印度语言的特征

印度次大陆的语言拥有丰富的语言遗产和跨越数千年的文学传统。印度语言中的词汇形态复杂，其组织语法包含详尽的规则。理解印度语言的显著特征对于为其构建有意义的语言技术至关重要。本节结合实例探讨印度语言的基本结构和基本特征。

{forest}
图2：印度语言的特征

### 2.1. 印度语言的Akshara系统

印度语言主要具有语音性质，其字母表基于观察到的人类发声系统（包括喉咙、舌头、嘴唇和鼻腔）发出的各种声音形式。大多数印度语言的字母表包含33个辅音和15个元音。有些语言可能还包含额外的1-2个辅音和元音。辅音包含一个固有的元音，通常分为25个结构化辅音（如图3(a)（https://arxiv.org/html/2607.06544#S2.F3.sf1）所示）和剩余的非结构化辅音（如图3(b)（https://arxiv.org/html/2607.06544#S2.F3.sf2）所示）。辅音根据使用人类发声系统的哪个部位来发出该类声音，进一步聚类成不同的段落。

参考图注
(a) 结构化辅音

参考图注
(b) 非结构化辅音
图3：印度语言中的辅音

字母表中的单个字母称为一个akshara，它由一个元音和0个或多个辅音组成。每个akshara都有其自身的形状和读音。由于这些语言是语音性的，字母和单词的发音与书写完全一致。书写符号的数量可能多于字母表中的字符数，因为多个辅音可以在没有中间元音的情况下组合成二合字母。与英语（其声音是通过从基本字母表中词汇性连接字母来构建的）不同，印度语言通过用动词和其他辅音修饰辅音来构建音节。

参考图注
(a) 不同的印度语言文字

参考图注
(b) 粘着现象：用一个词根形成不同单词
图4：

尽管印度语言的字母表相似，但用于书写它们的文字却并非如此。印度不同语言的书写文字差异很大，如图4(a)（https://arxiv.org/html/2607.06544#S2.F4.sf1）所示。即使在字素的组合结构上也能观察到差异。字素形成的规则在一种文字内部以及不同文字之间都有所不同。例如，用于书写印地语的梵文文字包含一条叫做Shirorekha的水平线，位于单词顶部，连接单词的每个字符。但这种书写风格并非所有印度语言都使用，其中一些语言书写字素时互不连接。使用的是音节字母书写系统，其中辅音和元音表示为一个单一单元，如图5(a)（https://arxiv.org/html/2607.06544#S2.F5.sf1）所示。辅音代表一个字母，而元音既可以以原子形式出现，不与辅音相连，也可以依赖于辅音，像变音符号或其他形式的修饰一样被标记。元音可以出现在辅音的左边、右边、顶部或底部。表示元音组合的字素也以类似方式表示，支撑辅音可以是其原始形式的变体，也可以完全不同。还使用了大量的变音符号，如图5(b)（https://arxiv.org/html/2607.06544#S2.F5.sf2）所示。

参考图注
(a) 用辅音和元音构成字母

参考图注
(b) 印度语言中使用的不同变音符号
图5：印度语言的内在特征

### 2.2. 印度语言的形式主义：波你尼框架

大多数印度语言的形式结构要么直接基于波你尼（Panini）建立的框架（称为《八篇书》（Astadhyayi），约公元前6世纪撰写）（Bharati and Sangal，1993（https://arxiv.org/html/2607.06544#bib.bib23）），要么深受其影响。这种语言结构框架也影响着语言的交流方式，并塑造了由此产生的解释学结构特征。在本节中，我们考察几乎所有印度语言中都能看到的波你尼框架的一些关键要素。

**语素**是印度语言中承载意义的基本词语，反过来，语素可以被认为包含两个要素：**词干**和**词缀**。前缀、后缀、包围后缀和中缀是不同类型的词缀。前缀位于词干之前，后缀位于词干之后，包围语素前后包围词干。插入词干内部的词缀称为中缀。词干承载主要意义，词缀为词干提供各种附加意义（Neupane，2024（https://arxiv.org/html/2607.06544#bib.bib116））。词缀中包括一组格修饰符，它们被...