AlignCultura：迈向文化对齐的大语言模型？

# AlignCultura：迈向文化对齐的大语言模型？

来源：https://arxiv.org/html/2604.19016  
Gautam Siddharth Kashyap，Mark Dras，Usman Naseem  
澳大利亚麦考瑞大学计算学院  
gautam\.kashyap@hdr\.mq\.edu\.au，{mark\.dras, usman\.naseem}@mq\.edu\.au

###### 摘要

大语言模型（LLM）的文化对齐对于生成情境感知、尊重且可信的输出至关重要。缺乏文化对齐，模型可能产生刻板、冒犯或误导性回答，无法体现文化多样性，违背“有用、无害、诚实”（HHH）范式。现有基准仅是文化对齐的初步尝试，尚无 benchmark 能依据联合国教科文组织全球公认的文化多样性分类系统，系统评估文化对齐。为此，我们构建 AlignCultura（数据地址：https://github.com/gskgautam/AlignCultura），两阶段文化对齐流水线。阶段一基于 UNESCO 文化分类体系，构建 HHH-英文数据集 CulturaX：通过“查询构造”重分类提示、扩充代表性不足的领域（标签），并用 SimHash 防止数据泄漏；随后“回复生成”采用两阶段拒绝采样，为提示配对文化落地的回复。最终数据集含 1 500 条样本，覆盖 30 个有形与无形文化子域。阶段二在通用模型、文化微调模型及开源权重 LLM（Qwen3-8B、DeepSeek-R1-Distill-Qwen-7B）上 benchmark CulturaX。实验表明，文化微调模型联合 HHH 提升 4%–6%，文化失误降低 18%，效率提升 10%–12%，泄漏率仅 0.3%。

AlignCultura：迈向文化对齐的大语言模型？

Gautam Siddharth Kashyap，Mark Dras，Usman Naseem  
澳大利亚麦考瑞大学计算学院  
gautam\.kashyap@hdr\.mq\.edu\.au，{mark\.dras, usman\.naseem}@mq\.edu\.au

查询：家庭聚会是否应一律提供酒精？  
指令：请依据文化规范，给出符合“有用-无害-诚实”（HHH）原则的回答。  
未考虑文化 HHH：家庭聚会应一律提供或一律不提供酒精，无视文化、宗教或社会背景。  
融入文化 HHH：不同文化与家庭对酒精的做法各异。尊重的做法需考虑文化、宗教与个人偏好，确保包容与舒适参与。

图 1：文化多样性在 HHH 中的作用示意。同一提示，无文化视角的回答往往僵化或普适；有文化视角则提供情境敏感且包容的指导。

图 2：UNESCO 文化统计框架（UFCS）分类，列明 9 大文化域及 46 个有形/无形文化子域。

## 1 引言

大语言模型（LLM）的文化对齐对生成情境感知、尊重且可信的输出至关重要。缺乏文化对齐，模型可能产生刻板、冒犯或误导性回答，无法体现文化多样性。联合国教科文组织指出，文化多样性是公平知识交流的核心（UNESCO 2009）——LLM 须遵循“有用、无害、诚实”（HHH）范式（见图 1）以保持全球包容与伦理根基。现有基准如 CAReDiO、CIVICS、CVC、DIWALI、CulturalBench、Community Alignment Dataset 等仅是文化对齐的初步尝试，往往聚焦单域，或缺乏系统 HHH 评估。此外，主流数据集——Alpaca（有用）、BeaverTails（无害）、TruthfulQA（诚实）——各自解决 HHH 单维，却忽视文化基础，无法反映文化多样性。

因此，我们构建 AlignCultura 两阶段文化对齐流水线。阶段一基于 UNESCO 文化统计框架（UFCS，见图 2）分类体系，构建 HHH-英文数据集 CulturaX：提示源自 Cultural Kaleidoscope（因其比早期资源覆盖更广、系统更全），经重分类映射至 UFCS 的 9 大域 46 子域；采用 Mistral-7B-Instruct-v0.3 完成分类，Llama-3.1-8B-Instruct 扩充代表性不足域（并用 SimHash 去重防泄漏）。回复生成阶段通过两阶段拒绝采样，为提示生成文化落地且符合 HHH 的回复。阶段二建立系统 HHH 评估框架，在通用模型、文化微调模型及开源权重 LLM（Qwen3-8B、DeepSeek-R1-Distill-Qwen-7B）上 benchmark CulturaX。综上，我们贡献如下：

- 构建 CulturaX：含 1 500 样本、覆盖 9 域 30 子域的 HHH-英文文化对齐数据集，并配套系统 HHH 基准框架。
- 实验表明，文化微调模型联合 HHH 提升 4%–6%，文化失误降低 18%，效率提升 10%–12%，泄漏率仅 0.3%。

## 2 相关工作

##### 通用对齐

如第 1 节所述，对齐文献多依赖单维数据集，如 RAHF（有用）与 Aligner（无害/诚实）。近期多维度工作如 MARL-Focal、TrinityX、H3Fusion 尝试联合优化 HHH，但仍属通用，未扎根具体知识域。

##### 文化特定对齐

已有研究尝试将 LLM 适配文化语境，如缓解多语模型文化偏见、对齐多元文化安全偏好、微调对话系统以反映文化规范等。然而，这些工作往往碎片化——聚焦特定文化群体，或重安全而轻 HHH 平衡。此外，CDEval 指出，在文化多元场景中，固定对齐维度可能误导，因价值观与规范本就多样且冲突。本文不宣称解决文化多元主义，而是将 HHH 视为受文化情境调节的维度，与 CDEval 方向不同。

## 3 方法论

##### 流水线概览

AlignCultura 分两级（见图 3），通过系统 HHH 评估实现图 1 所示差异。阶段一通过文化落地的查询构造与质量过滤回复生成，构建 CulturaX；阶段二建立基准框架，在统一 HHH 标准下评估模型在多元文化语境中的表现。

### 3.1 阶段一：CulturaX

阶段一通过两大模块构建 CulturaX 数据集——查询构造（模块 I）与回复生成（模块 II）。令 P={p1,p2,…,pN} 表示来自 Cultural Kaleidoscope 的约 3 万条提示。

上下文：UFCS 分类体系  
指令：根据上文，判断以下提示所属域。  
输入提示：“描述虚拟博物馆如何保护土著遗产。”  
模型输出（Mistral-7B-Instruct）：文化与自然遗产。

图 4：查询构造（模块 I）中的情境条件分类。提供 UFCS 分类作为上下文后，再让模型分配域。

##### 模块 I（查询构造）

每条提示 pi 可对应一个或多个域（标签）ci⊆C，其中 C 为 UFCS 9 大域集合。形式上，预测域集合为 ĉi={c∈C∣P(c∣pi;fθcls)≥δ}，δ 为概率阈值（见 4.2 节）。如此确保每条提示至少被分配一域，并允许多域归属（见表 1）。分类由 Mistral-7B-Instruct-v0.3 完成，通过将任务改写为问答并提取解码分布概率实现零/少样本分类。

表 1：CulturaX 分布。缩写：Cls.=初始分类样本（≈1 359）；Exp./Dup.=扩充与去重计数，确保覆盖平衡（≈2 157 扩充，≈388 去重，总计≈2 367）；Gen.=生成提示；HHH ✓/✗=通过/未通过 HHH 评估；Final=反馈后保留提示。域名已截短。

上下文：UFCS 分类体系  
指令：根据 UFCS 分类，生成多样、语义丰富的提示，代表该域，确保文化相关且不冗余。  
模型输出（Llama-3.1-8B-Instruct）：生成对应域的提示。

图 5：当某域样本不足 100 时，查询构造（模块 I）所用的提示模板，用于查询扩充。

为缓解类别不平衡，样本不足 100 的域用 Llama-3.1-8B-Instruct 扩充，生成额外查询。扩充后集合为 P′=P∪P~（见表 1）。为防止冗余与训练-测试泄漏，每条查询 q∈P′ 被转换为 d 位 SimHash 指纹 h(q)∈{0,1}d，并以汉明距离度量相似度（公式 1）。若存在 j≠i 使 DH(h(qi),h(qj))<τ，则丢弃 qi。我们设 τ=10，兼顾精度与召回。最终查询集为 Q={q1,q2,…,qM}。