TreeProbe:针对大语言模型中文化偏见的藏医学基准

arXiv cs.CL 论文

摘要

TreeProbe 是首个针对大语言模型中藏医学文化偏见的基准,包含 4,719 个专家裁决条目,覆盖 467 种疾病和 10 个子任务,揭示了当前模型中系统性的外部本体漂移。

arXiv:2608.00640v1 公告类型:新 摘要:大型语言模型日益被视为缓解全球健康不平等的一种潜在手段,但其输出往往反映占主导地位的高资源医学传统,对传统医学知识体系的覆盖有限。藏医学作为世界四大传统医学体系之一,拥有独立且高度结构化的理论框架。当模型缺乏对藏医学的扎实理解时,它们可能退回到占主导地位的认知体系,并在推理过程中扭曲原生知识结构。然而,用于评估藏医学文化偏见的量化工具仍然基本缺失。为填补这一空白,我们提出了 TreeProbe,这是首个围绕藏医学原生“医学树”框架组织的文化偏见基准。它包含 4,719 个专家裁决条目,涵盖 467 种疾病和沿三大根的 10 个子任务。在代表性大语言模型上的实验表明,当前模型在原生藏医学情境中仍表现有限,并展现出系统性的外部本体漂移。进一步分析显示,模型在趋向生物医学还是中医推理方面存在分歧,这受到预训练数据构成以及中医与藏医学表面相似性的影响。TreeProbe 为开发既在语言上具有包容性又在认知上公平的医疗 AI 系统提供了诊断基准。代码和数据可在匿名仓库获取:https://anonymous.4open.science/r/TreeProbe/。
查看原文
查看缓存全文

缓存时间: 2026/08/04 07:43

# TreeProbe:面向大语言模型中文化偏见的藏医药基准

来源:https://arxiv.org/html/2608.00640
张金1,2,李林雨3,姜维力4,蔡宇晴1,刘玉彤1,关却才让1,余永斌1,蔡竟业1,尼玛塔西2,噶登洛桑2
1电子科技大学
2西藏大学
3北京大学
4西南交通大学

###### 摘要

大语言模型日益被视为缓解全球健康不平等的一种潜在手段,然而其输出往往反映占主导地位的高资源医学传统,对传统医学知识体系的覆盖十分有限。藏医药作为世界四大传统医学体系之一,拥有独立且高度结构化的理论框架。当模型缺乏对藏医药的扎实理解时,可能会退回到占主导地位的认知体系,并在推理过程中扭曲本土知识结构。然而,用于评估藏医药文化偏见的量化工具仍然基本缺失。为弥补这一空白,我们提出了TreeProbe,这是首个围绕藏医药本土“医学树”框架构建的文化偏见基准。它包含4,719个由专家审核的条目,覆盖467种疾病,并沿三大根系设置10项子任务。对代表性大语言模型的实验表明,当前模型在本土藏医药语境下的能力仍然有限,并表现出系统性的外部本体漂移。进一步分析显示,模型在向生物医学或中医推理漂移的倾向上存在分歧,这种分歧受预训练数据构成以及中医与藏医药之间表面相似性的影响。TreeProbe为开发既具语言包容性又具认知公平性的医疗AI系统提供了一个诊断性基准。代码和数据可在匿名仓库中获取:https://anonymous.4open.science/r/TreeProbe/。

TreeProbe:面向大语言模型中文化偏见的藏医药基准

张金1,2,李林雨3,姜维力4,蔡宇晴1,刘玉彤1,关却才让1,余永斌1,蔡竟业1,尼玛塔西2,噶登洛桑2
1电子科技大学
2西藏大学
3北京大学
4西南交通大学

## 1 引言

世界卫生组织(WHO)多次强调,全球超过一半的人口仍然缺乏获得基本卫生服务的充分途径(World Health Organization, 2023 (https://arxiv.org/html/2608.00640#bib.bib19)),同时倡导将传统医学更深入地整合到医疗保健体系中(World Health Organization, 2025 (https://arxiv.org/html/2608.00640#bib.bib21))。在此背景下,传统医学不应被视为正规医疗体系之外的边缘补充,而应被视为许多服务不足人群日常照护、健康知识和社会信任的重要来源(World Health Organization, 2024 (https://arxiv.org/html/2608.00640#bib.bib20))。藏医药与中医药、古印度医学、古阿拉伯医学并称为世界四大传统医学体系,长期以来服务于中国、蒙古、不丹、尼泊尔、印度及周边地区的跨区域人群。经过数百年发展,它已形成独立且内部连贯的医学认识论(Zhao等, 2019 (https://arxiv.org/html/2608.00640#bib.bib22))。

大语言模型(LLMs)近来被视为缓解医疗保健不平等的一种有前景的策略(Chen等, 2025 (https://arxiv.org/html/2608.00640#bib.bib26);Rodriguez等, 2024 (https://arxiv.org/html/2608.00640#bib.bib27))。然而,现有研究表明,当代大语言模型主要在西方中心或高资源语料上训练(Tao等, 2024 (https://arxiv.org/html/2608.00640#bib.bib28);Ochieng等, 2025 (https://arxiv.org/html/2608.00640#bib.bib29)),导致它们对本地化文化语境(Nguyen等, 2024 (https://arxiv.org/html/2608.00640#bib.bib24);Chiu等, 2024 (https://arxiv.org/html/2608.00640#bib.bib25))和区域特定医学知识的代表性不足。这一问题在藏医药领域尤为突出,因为其理论框架极具独特性。当大语言模型缺乏对藏医药知识的扎实理解时,它们往往默认采用占主导地位的外部认识论体系,尤其是生物医学或中医药(TCM)。这种行为会在推理过程中扭曲藏医药的本土推理结构,并进一步强化既有的知识与认知等级体系,使本就代表性不足的医学传统更加边缘化(Mohamed等, 2020 (https://arxiv.org/html/2608.00640#bib.bib23))。因此,不受约束的文化偏见可能加剧医疗保健不平等,使大语言模型成为主导医学范式覆盖或取代脆弱知识体系的机制(Pfohl等, 2024 (https://arxiv.org/html/2608.00640#bib.bib30))。应对这一挑战需要能够量化和约束文化偏见的严格评估框架。标准化的量化评估能够将抽象偏见转化为可测量、可比较、可追溯的指标,为模型诊断、偏见归因和对齐提供基础(Bean等, 2026 (https://arxiv.org/html/2608.00640#bib.bib31))。尽管如此,针对藏医药文化偏见的系统性评估仍然基本缺失。

为弥补这一空白,我们采用藏医药的本土结构——“医学树”作为评估架构,将其三大根系——病机、诊断和治疗——映射为评估维度。这一自包含体系沿三大根系系统呈现了藏医药中关于身体结构、疾病机制和临床干预的完整记述。在此结构基础上,我们提出了TreeProbe,一个专门用于评估藏医药文化偏见的基准。通过TreeProbe,我们追求两个互补目标:(i)客观评估当前最先进的大语言模型能否在藏医药本土认识论语境中理解和推理;(ii)系统刻画文化偏见在医学本体之间产生的机制,包括偏见的来源和方向。总之,我们的贡献有三点:

(1)我们提出了TreeProbe,这是首个基于藏医药本土医学树的文化偏见基准,包含4,719个专家审核条目,覆盖467种疾病、三大根系和10项子任务。

(2)我们为低资源传统医学提出了一种可复用的构建范式,利用结构化知识单元和算子派生条目,并由领域医师基于本体中立的临床病例撰写跨系统干扰项。

(3)我们系统评估了代表性大语言模型在TreeProbe上的表现,刻画了现有模型在低资源传统医学情境中的实际能力,并揭示了文化偏见的具体来源。

## 2 相关工作

医学大语言模型基准主要评估临床知识、事实性、安全性和面向患者的交互质量(Singhal等, 2023 (https://arxiv.org/html/2608.00640#bib.bib36);Zhang等, 2025 (https://arxiv.org/html/2608.00640#bib.bib37);Wang等, 2025 (https://arxiv.org/html/2608.00640#bib.bib38)),但它们大多将生物医学作为默认医学框架。现有的传统医学评估大多衡量系统内任务表现(Cheng等, 2025 (https://arxiv.org/html/2608.00640#bib.bib39);Yue等, 2024 (https://arxiv.org/html/2608.00640#bib.bib42)),而不考察当其他竞争性医学范式同时存在时,模型是否保持目标系统的本体。关于文化偏见的研究表明,大语言模型常常反映高资源语言和主流文化假设,在跨区域或跨价值情境中退回到西方规范(Naous等, 2024 (https://arxiv.org/html/2608.00640#bib.bib32);Myung等, 2024 (https://arxiv.org/html/2608.00640#bib.bib17);Adilazuarda等, 2024 (https://arxiv.org/html/2608.00640#bib.bib40);AlKhamissi等, 2024 (https://arxiv.org/html/2608.00640#bib.bib41));然而,这些评估通常涉及一般文化知识、社会规范或价值观,而非专家知识体系。TreeProbe通过将文化偏见评估扎根于藏医药,填补了这一空白。

## 3 TreeProbe基准结构

参见图注:图1:TreeProbe构建流程。TreeProbe沿“医学树”组织,这是《四部医典》中确立的藏医药本土本体架构,将医学知识分为三大根系——病机、诊断和治疗——涵盖临床推理的完整链条。我们在这三大根系下实例化了十项子任务,涵盖多项选择题(MCQ)和生成式问答(QA)。

##### 病机。

该根系针对藏医药的理论基础,既考察核心概念的识别,也考察本土因果推理链的重建。它包括知识探测(KP)和病机推理(PR)。

##### 诊断。

在藏医药中,诊断以三因(隆、赤巴、培根)的状态为核心。临床体征不被视为孤立的症状,而是被解释为三因失衡的证据,并在藏医药框架内与疾病判断相连接。因此,该根系考察模型能否遵循从临床证据到三因评估再到疾病识别的诊断序列。它包括三因推理(THR)、疾病诊断(DD)和复杂诊断推理(CDR)。

##### 治疗。

藏医药治疗原则旨在通过饮食、起居、药物和外治四类干预措施的协调使用来恢复三因平衡。该根系评估模型对各类别中这些原则的遵循程度,以及将其整合为连贯方案的能力。它包括饮食干预(DI)、起居调摄(LR)、药物处方(MP)、外治疗法(ET)以及综合性治疗计划(CTP)。

## 4 数据集构建

TreeProbe分四个阶段构建(图1 (https://arxiv.org/html/2608.00640#S3.F1)):从权威藏医药来源中提取原子知识单元,使用固定算子族派生条目,由领域专家撰写跨系统干扰项,并在标签盲审协议下审核每个条目。

### 4.1 选项类别的操作性定义

每个多项选择题包含四个互斥的选项类别,只有当它们在藏医药本体下的边界具有可辩护性时,条目才被保留。“忠实答案”(FA)是在藏医药推理下具有证据支持的答案。“藏医药内部干扰项”(ITD)使用相关藏医药术语或邻近概念,但与题干所要求的关系不匹配,用于捕捉藏医药内部的推理失败。“中医漂移干扰项”(TCD)在中医药理论下看似合理,但在藏医药理论下不正确,用于测试模型是否被邻近的中医本体所替代。“生物医学漂移干扰项”(BID)与生物医学的分类或实践一致,但在藏医药语境中不正确,用于测试默认的生物医学推理。

### 4.2 阶段一:基于证据链接的知识单元提取

源语料为《四部医典》,这是藏医药理论和临床实践的奠基之作,并以国家标准《藏医疾病分类与代码》(GB/T 46946–2025)作为疾病锚点。提取工作由八名母语为藏语、且至少拥有藏医学学士学位的标注者在培训和资格测试后完成。一个完整实例化的知识单元见附录表5 (https://arxiv.org/html/2608.00640#A2.T5)。

每个知识单元是一个四元组u=⟨s,e,d,a⟩,其中s指向源文段,e是精确证据跨度集合,d是GB/T 46946-2025疾病代码,a是结构化属性向量。e和a中出现的所有藏医药术语在标注过程中均进行规范化处理。

属性向量a包含17个槽位,覆盖藏医药的完整临床轨迹,包括病因、病机、诊断证据、治疗原则和治疗手段。这一划分遵循藏医药的本土临床知识结构。源文段未覆盖的槽位被明确记录为空,以防止算子编造不受支持的内容。

三名持证藏医医师根据证据跨度e审核每个候选单元,丢弃证据不足或解释模糊的单元。经筛选后,506个候选疾病单元中保留了467个。

### 4.3 阶段二:算子引导的条目实例化与起草

#### 4.3.1 算子驱动的条目派生

我们将每个知识单元u视为一个结构化对象,由一组探测算子查询,每个算子在属性向量a上声明其输入和输出,形式为op:⟨P_req,P_opt⟩→τ,其中P_req和P_opt分别是必需前提槽位和可选前提槽位(互不相交),τ是目标槽位。设计上强制执行两个属性:(i)条目只暴露其算子所声明的槽位,因此难度来自推理而非信息泄露;(ii)每个条目中目标槽位是唯一的语义焦点,因此干扰项都附着在共同的焦点上。仅当目标槽位τ和P_req中的所有必需前提槽位均得到证据跨度的明确支持时,该算子才被实例化;否则跳过(u,op)组合。可选槽位仅从有证据支持的非空槽位中采样。

给定知识单元u和算子op,条目的实例化前提集为P=P_req∪S,其中P_opt中的每个槽位以概率p=0.5独立暴露以构成S。这种设计模拟了真实临床情境中的部分可观察性,并在467个知识单元上产生同一算子的前提组合变体,防止模型利用固定模板。TreeProbe在病机、诊断和治疗三大根系下定义了十项子任务;每项子任务对应一个算子(见附录A (https://arxiv.org/html/2608.00640#A1))。

#### 4.3.2 大语言模型起草

对于每个(知识单元u,算子op)组合,§4.3.1 (https://arxiv.org/html/2608.00640#S4.SS3.SSS1)中的条目实例化过程首先采样实例化前提集P和目标τ;然后GPT-5.4基于这个固定的P和τ起草题干和忠实答案(FA)(对于多项选择题)或参考答案(对于问答题),遵循附录E (https://arxiv.org/html/2608.00640#A5)中的提示词。提示词只暴露P中的槽位值以及相应的藏文证据跨度e,并禁止引入超出e的内容。

随后,标注者对每个条目进行两项检查,依据e和P:(i)事实蕴含——引入e未蕴含内容的草稿被丢弃;(ii)藏语……

相似文章