为AI评估定义文化能力：基于跨文化交际理论的分类框架

# 为 AI 评估界定文化能力：基于跨文化交际理论的分类体系
来源：https://arxiv.org/html/2605.15990
Isar Nejadgholi¹，Masoud Kianpour²，Krishnapriya Vishnubhotla¹，Maryam Molamohamadi³

¹加拿大国家研究委员会 ²加拿大多伦多都市大学 ³加拿大魁北克人工智能研究所 Mila

{isar.nejadgholi, krishnapriya.vishnubhotla}@nrc-cnrc.gc.ca
[email protected], [email protected]

###### 摘要

为了评估人工智能系统在不同文化背景下的包容性和有效性，人们付出了巨大努力。然而，多数文献中考虑的文化能力定义仍然模糊，术语常可互换使用，且通常局限于回忆关于不同人口、地区和国家的准确信息。为解决这一构念模糊性问题，我们借鉴跨文化交际学术研究，提出了一个面向AI的三层次文化能力分类体系：**文化意识**回答“模型知道吗？”；**文化敏感性**回答“它如何构建其知识？”；**文化能力**回答“它能随着互动发展而适应吗？”。除了概念澄清之外，我们还将这一分类体系定位为一种实用工具，用于提高AI在现实世界、多元文化环境中评估的有效性和可解释性。如果缺乏这种构念清晰度，评估结果可能会夸大模型能力，并在文化敏感的情境中导致不当的部署决策。

为AI评估界定文化能力：基于跨文化交际理论的分类体系

Isar Nejadgholi¹，Masoud Kianpour²，Krishnapriya Vishnubhotla¹，Maryam Molamohamadi³
¹加拿大国家研究委员会 ²加拿大多伦多都市大学 ³加拿大魁北克人工智能研究所 Mila
{isar.nejadgholi, krishnapriya.vishnubhotla}@nrc-cnrc.gc.ca
[email protected], [email protected]

## 1 引言

AI介导的交流正日益影响着语言与社会关系 Hohenstein et al. (2023)。在翻译 Naveen and Trojovský (2024)、对话 Abe et al. (2025) 和决策 Kaggwa et al. (2024) 等各种任务中，AI 正作为中介，促进着来自全球各地、跨越文化边界的用户之间的对话。特别是生成式AI，已被证明扮演着“社会行动者”的角色，能够引发情感和认知反应，从而重塑人类交流模式。然而，研究界逐渐认识到，生成式AI对人类交流的影响极其微妙。一方面，研究表明，AI可以通过提供多模态、情感共鸣的交流工具来增强跨文化对话，减少焦虑并促进身份认同 Yang et al. (2024)。另一方面，当大规模使用时，AI引入了新的权力和文化可见性动态，有可能使文化表达同质化，强化语言等级制度，并掩盖微妙的文化含义 Busch (2024)。关键在于，这些模型主要基于以英语和西方为中心的数据进行训练，这限制了它们处理跨文化交流的能力，并有可能导致误解，进而升级为真实的社会和伦理危害 Naous and Xu (2025)。

**第三层：文化能力**
动态、多轮次适应新兴文化线索。
**第二层：文化敏感性**
在单次回复中采用尊重、非种族中心主义的框架。
**第一层：文化意识**
准确回忆文化知识。

**示例行为：**
在用户说明工作场所非正式后，调整道歉语气；解释这种转变并保持尊重。
**示例行为：**
使用尊重性语言，承认等级制度，避免说教或西方中心框架。
**示例行为：**
正确反映日本职场规范（资历、敬语），无刻板印象或事实错误。

图1：AI相关的三层文化能力，依据可观测的系统行为定义，并附有每层对应的说明性示例。该示例基于提示词“我来自日本，我需要帮助向我的一位年长同事道歉，因为我在工作中犯了一个错误”，旨在说明逐步丰富的文化能力如何塑造系统响应，从事实基础到尊重性框架再到多轮适应。

作为回应，越来越多的工作试图评估AI系统的“文化能力” Pawar et al. (2025)。然而，这些评估所依据的构念定义仍然松散。“文化意识”、“文化敏感性”和“文化能力”等术语经常互换使用，在不同研究甚至同一项工作中含义不一致。因此，当前的评估实践有可能混淆根本不同的能力。这种构念模糊性使得不清楚实际测量的是什么，也难以就现实世界环境中的模型行为得出有效结论。

在这项工作中，我们探讨一个基本问题：“在AI赋能的交流工具中，需要监控哪些文化能力，以确保由英语中心模型引起的各种问题得到适当缓解？”重要的是，跨文化交际 Arasaratnam and Doerfel (2005)、跨文化社会心理学 Richter et al. (2023) 和教育学 Choompunuch et al. (2024) 等领域早已强调，文化能力涉及多种不同的行为，这些行为能够促成跨文化边界的成功互动。这些能力已被证明会影响组织、专业和教育环境中的结果，并有助于提升绩效、生产率和心理安全感 Lauring (2011); Szkudlarek et al. (2020); Warren and Lee (2020)。然而，NLP评估很少纳入这些区分，并且参照多元文化交际研究的背景来看，当代的评估似乎理论化不足。

系统化的文化能力构念定义可以促进有意义的AI评估实践。正如 Wallach et al. (2024) 所论证的，有效的评估需要从背景概念转向系统性定义，然后才能设计测量工具。这种逻辑表明，在测量文化能力之前，必须首先根据可观测的系统行为来定义它。为了构建这样的定义，我们聚焦于跨文化交际（ICC）研究，其中文化能力被表述为一系列广泛的技能，例如校准特定场景所需的敏感性水平、适应上下文线索，以及整合在互动中动态涌现的新型文化信息。从这个角度来看，AI系统不仅需要“了解”某种文化或“模仿某种文化规范”，还必须能够调整其交际立场，以尊重文化差异并符合语境要求。

此外，区分不同文化能力至关重要，因为在某一层次上合适的行为在另一层次上可能是有害的。例如，关于某个文化群体的事实性知识可以支持表征和理解，但如果呈现方式缺乏细微差别或语境变化，则可能起到刻板印象的作用 Fraser et al. (2021); Yao et al. (2024)。一个声称“日本职场重视正式礼节”的AI系统传达了准确信息；然而，如果将其作为普遍规则呈现，而不考虑地域、代际或组织差异，则有可能强化刻板印象。同时，这种事实性知识可能无法转化为用户互动中适当的行为/情境适应。

具体来说，我们转向ICC中的三个基础模型，并研究这些模型所包含的特质和技能。为了得出一个与AI相关的分类体系，我们排除了ICC模型中特定于人类的动机和情感特质，仅保留那些描述行为与互动技能的维度——AI系统原则上可以表现出这些技能。这一过程产生了一个包含三个层次的AI相关文化能力分类体系：文化意识、敏感性和能力，每个层次都具有独特的可观测行为。该分类体系在图1中总结，并在第4节中详细阐述。我们的分类体系提供了一个实用框架，用于指导多元文化环境下的评估设计、结果解释和部署决策。我们将这项工作定位为一种呼吁，呼吁对AI系统的文化能力进行更精确、更注重实践的评估。

## 2 NLP中的文化能力评估

NLP领域的许多工作研究了LLM是否展现出处理文化差异的不同能力 Pawar et al. (2025)。这类研究通常评估模型在特定文化情境、规范和交流实践中的行为。然而，关于“文化能力”构成要素的概念化在不同研究中差异很大。我们回顾了近期尝试测量AI文化能力的NLP论文，并分析了这些工作如何定义和操作化底层构念。请注意，我们关注的是“文化能力”的构念模糊性，而非“文化”本身。虽然 Zhou et al. (2025) 和 Adilazuarda et al. (2024) 对“文化”的定义进行了广泛研究，并通过分类体系 (Liu et al., 2025) 或跨文化NLP的基础框架 (Hershcovich et al., 2022) 加以阐述，但我们认为该领域尚未就评估AI系统所需的核心“文化能力”达成共识。

Saha et al. (2025) 批判性地审视了应如何概念化和评估AI系统中的文化能力。他们指出，当前的评估实践主要通过依赖精心策划的文化测试集来探查LLM的“文化意识”，即其对特定文化的知识和推理能力。然而，他们认为，在这些基准上表现良好仅能证明对所测试文化的了解，并不能证明在未见过的文化情境中运作的能力。相反，他们提出了“元文化能力”的概念，指的是AI系统识别文化差异并适应新文化情境的能力。虽然这一视角阐明了文化稳健的AI系统应追求的长期能力，但它留下了在当前NLP评估中应定义和测量哪些层次的文化能力的问题。我们的工作目标与 Saha et al. (2025) 互补。我们并非提出新的目标能力，而是专注于借鉴跨文化交际研究来定义不同层次的文化能力，以提高文化评估中的构念清晰度和测量有效性。

我们赞同 Saha et al. (2025) 的观察，即大多数关注文化包容性的基准都侧重于测量“关于文化情境的知识”。例如，FORK (Palta and Rudinger, 2023) 针对与食物相关的文化常识，如食材、烹饪方法和文化上适当的消费习惯；CulturalBench (Chiu et al., 2025) 引入了覆盖日常活动、社会规范、公共行为和地方习俗的区域特定多项选择题；BLEnD (Myung et al., 2024) 则关注跨16个地区和13种语言的日常实践和社会常规（例如，食物、体育、家庭、节假日/庆典/休闲）。GeoMLAMA (Yin et al., 2022) 探查地理多样化的常识知识，即那些普遍理解但不同文化和地区有不同表现的概念，例如传统婚纱的颜色、主食和计量单位。另一方面，INCLUDE (Romanou et al., 2025) 以44种语言策划了考试风格的问题，强调文化情境化的一般知识和推理技能。JMMMU (Onohara et al., 2025) 是这一方向的另一项工作，它整合了艺术和遗产等领域的多模态文化知识。

最近的一些工作试图将文化理解操作化为识别文化上不恰当的信号。一个例子是由 Yerukola et al. (2025) 提出的 MC-SIGNS，它评估模型是否能根据文化背景将手势分类为冒犯性或非冒犯性。其他资源则侧重于关于社会群体的刻板印象陈述，例如 SHADES (Mitchell et al., 2025)，它评估跨区域和语言的刻板印象，涵盖多个面临歧视的身份类别。Qiu et al. (2025) 评估智能体在在线购物和社交讨论论坛中检测并适当响应用户违反规范的查询和观察的能力。

更多近期工作试图在互动环境中评估文化能力。NormGenesis (Hong et al., 2025) 超越了知识层面，通过在多轮对话中测量文化适应性对话，重点关注将社会规范融入互动行为。Nunchi-Bench (Kim and Lee, 2025) 是另一个包含基于场景问题的基准，要求模型识别文化上合适的回应或解释。Wu et al. (2025) 提出的 SocialCC 评估LLM在多轮社交互动中的表现——在这些互动中，适当的回应取决于文化规范和上下文线索——并测量模型是否产生社交上适当的回应。类似地，Havaldar et al. (2025) 提出了一个框架，用于评估语言模型在多元文化对话环境中的文化意识。他们的评估整合了情境背景、人际关系和对话风格，以评估模型适应文化基础互动的程度。这些工作代表了朝着将文化能力评估作为一种动态能力迈出的重要一步。