评估低资源语言中的健康错误信息：将小型语言模型与具有文化敏感性的负责任自然语言处理框架相结合（以孟加拉语为例）

# 评估低资源语言中的健康错误信息：将小型语言模型与文化敏感的负责任自然语言处理框架相结合（以孟加拉语为例） 来源：https://arxiv.org/html/2607.12336 Farnaz Farid¹, Raihan Alam², Al Al-Areqi¹, Farhad Ahamed¹, Muhammad Hassan Khan³,⁴, Sadia Hossain⁵, Irena Veljanova¹,⁶, Anika Tabassum Binte Hossain⁷ ¹西悉尼大学社会科学学院；²微软；³西悉尼大学计算机、数据与数学科学学院；⁴西悉尼大学商学院；⁵西悉尼大学医学院；⁶埃克塞西亚学院；⁷福尔康布里奇健康中心 {farnaz.farid, A.Al-areqi, farhad.ahamed, hassan.khan, sadia.hossain}@westernsydney.edu.au [email protected], [email protected], [email protected]

## 摘要

人工智能（AI）及自适应聊天机器人的出现及其应用，在从简单信息到关键健康错误信息等各类事务中显著增长。这种快速扩散正导致数字环境面临的威胁不断升级，引发全球性担忧。数字健康服务扩展了健康信息的可及性，使其触手可及。这种可及性也带来了严峻挑战，使得恶意行为者能够通过新颖的欺骗手段感染并传播错误信息，例如伪造知名医学专业人士在社交媒体上的背书。AI技术虽作为现代社交媒体和数字健康服务的基础赋能者，却发挥着双重效应——既是抗击错误信息的斗士，也是其传播的载体。缓解这一问题面临的一个普遍挑战出现在非英语语境和低社会经济阶层中，那里有限的数据阻碍了AI模型的有效检测训练。因此，文化和语言多元（CALD）社区难以通过AI驱动工具获取可信的健康信息。由于缺乏训练数据，当前的AI工具表现不佳，且在很大程度上无法考虑非英语语境中的语言细微差别和传统习俗。本研究通过提出一种设计文化和语言友好的基于AI的健康错误信息检测器的基础方案，并为医学专业人士提供一个分析此类错误信息的仪表盘，来解决这些空白——这是缓解CALD人群中日益增长的担忧的关键一步。为此，我们使用一个孟加拉语翻译的健康错误信息数据集开展了一系列实验，评估多种小型语言模型（SLM）的表现。SLM在此背景下尤为相关，因为大型语言模型（LLM）常常表现不佳，这通常源于领域特定知识不足以及资源密集型微调的高昂成本。结果表明，Phi-4是最优模型，在声明提取中实现了精确率和召回率的理想平衡。随后，为缓解SLM的局限性，我们设计并测试了一种基于负责任自然语言处理（NLP）的新型健康错误信息检测框架。该框架超越了纯技术指标，纳入了文化敏感性、潜在危害和沟通质量等维度，从而为评估低资源语言中的错误信息提供了整体视角。最终，这项工作为开发未来模型奠定基础，这些模型可在CALD社区中优先兼顾准确性与文化响应性。

**关键词**: 健康错误信息检测，小型语言模型，低资源语言，孟加拉语NLP，多语言NLP，文化和语言多元社区，提示工程

## 引言

多模态错误信息现在通过多种模态传播，例如结构化与非结构化数据集，包括文本、视频和音频格式，这些已以某种方式渗透到生活的方方面面。与政治、选举、健康及冲突相关的假新闻势头强劲，人们越来越依赖社交媒体获取信息。这些信息大多未经适当真实性验证而被收集或生成，进而影响和引导社会及个人。AI技术的兴起以及大型语言模型（LLM）的采用，在当前数字生态系统中扮演关键角色，生成复杂且可信的错误信息[1]。据NewsGuard[2]统计，十大领先聊天机器人重复错误信息的倾向在一年内几乎翻倍，从18%增至35%。表1显示了NewsGuard报告的部分数据。

**表1. 传播虚假声明的新闻话题百分比**

| 聊天机器人 | 失败率（%） |
| --------- | ---------- |
| Claude    | 10         |
| Gemini    | 16.67      |
| Grok      | 33.33      |
| You.com   | 33.33      |
| Mistral   | 36.67      |
| Copilot   | 36.67      |
| ChatGPT   | 40         |
| Meta      | 40         |
| Perplexity| 46.67      |
| Inflection| 56.67      |

世界经济论坛在其《全球风险报告》[3]中指出，由LLM驱动的生成式AI所助长的信息，已被视为全球稳定和民主进程的短期首要威胁。由于技术的出现和可及性，年轻人主要依赖社交媒体获取健康相关信息。此外，社交媒体因其在全球范围内的可及性，在传播和扩散错误信息中扮演关键角色[4]。在所有此类错误信息中，健康错误信息对社会构成重大威胁，不能再仅仅被视为学术上的麻烦[5]。如同其他领域，生成式AI（genAI）和深度伪造的出现进一步加剧了健康错误信息[6]。例如，诈骗者利用医学专业人士的深度伪造图像销售产品，或操纵合法视频以虚假背书商品，这些内容已获得数百万次观看。以心理健康为例，《卫报》近期的一则新闻报道揭示，人们比以往更依赖社交媒体获取心理健康支持，这被影响者视为传播错误信息的机会，涉及滥用治疗性语言、“快速修复”方案和虚假声明[7]。在线平台的普及和用户生成内容的数量使得系统性验证声明日益困难，因此成为我们数字时代的一个重大全球性挑战。这可能涵盖从疫苗犹豫到对循证止痛药（如扑热息痛）污名化等方方面面。这对人口健康具有深远后果，影响对机构的信任以及循证护理的接受度。另一个令人担忧的事实是，健康错误信息并非均匀分布，某些人群受影响更大。例如，COVID-19疫苗犹豫在澳大利亚郊区的移民和难民社区最为明显[28]。这关系到健康错误信息的另一个关键方面：文化和语言多元（CALD）人群可能因结构性及信息障碍（如获取文化或语言适切的健康资源有限，以及依赖非正式或社交媒体网络获取健康信息）而面临更高的健康错误信息暴露风险[8,9]。澳大利亚现有的公共卫生沟通往往缺乏文化细微差别和语言可及性[29]。

尽管由生成式AI助长的健康错误信息在全球迅速上升，但当前的检测模型在文化复杂或非英语语境中通常精度降低[12,13,14]。它们在非英语环境中的表现仍未得到充分探索，主要挑战在于低资源语言（如阿拉伯语、中文、土耳其语、孟加拉语、越南语等）缺乏可靠的数据集，目前尚不存在完善的健康错误信息数据集[15-18]。虽然这些因素突显了人类和情境层面的脆弱性，但技术局限性也助长了对错误信息的易感性。例如，大型语言模型（LLM）可能因训练数据中的偏见、非英语语言代表性不足[10]或上下文误解，无意中生成或放大不准确健康内容，从而在非英语受众中强化错误信息的传播[11]。LLM作为双刃技术，在生成和检测错误信息中扮演双重角色。此外，据报道，LLM在医疗和法律等专业领域表现不佳，原因在于领域特定知识不足以及需要微调，而微调成本高昂且资源密集[30]。因此，小型语言模型（SLM）被视为LLM的替代方案。SLM已在低资源语言中进行了测试，并取得了有希望的结果[31,32]。然而，尽管有这些研究进展，至今尚无专家为孟加拉语标注出广泛认可的健康错误信息数据集，这为构建和部署AI驱动的错误信息检测工具设置了障碍。

为进一步探索SLM在现实低资源环境中的潜力，本文做出三项关键贡献：
1. 我们创建了首个经过专家验证的孟加拉语健康错误信息数据集，通过翻译初始为英文的MHMisinfo：基于视频的心理健康错误信息[19]。翻译后的数据集已由母语领域专家审查验证，确保语言和语境的准确性。健康领域专家还在翻译数据集中标注了健康声明和健康错误信息。
2. 我们在一系列SLM上评估了孟加拉语健康错误信息检测，并将结果与人类专家标注的黄金标准数据集进行比较。
3. 我们分析了跨语言性能下降，并强调了依赖在低资源语言中运行的AI系统的CALD人群所面临的影响。
4. 我们首先设计并测试了一个多维框架，该框架基于负责任的自然语言处理（NLP）模型，超越了纯技术指标，纳入了文化敏感性、潜在危害和沟通质量等维度，这对于评估非英语语境中的健康错误信息尤为重要。

为此，本文其余部分组织如下：第2节从概念、技术和社会文化视角讨论为本工作提供依据的现有文献；第3节介绍方法论，包括详细的数据分析和实验的SLM模型；第4节展示结果；随后第5节进行深入讨论和分析，并概述本工作的局限性；第6节概述一个用于评估非英语语境中健康错误信息的框架；第7节给出结论和未来工作。

## 文献综述

### 背景与动机

本节基于现有研究，确立推动本研究的概念、技术和社会文化空白。首先审视不同大型语言模型（LLM）在生成和放大低社会经济阶层个体中错误信息的作用，随后回顾其在低资源环境（尤其是非英语语言）中已被充分记录的局限性。接着讨论SLM作为更实用替代方案的优势。在此基础上，本节进一步强调这些语言和技术约束如何与文化及语言多元（CALD）社区所面临的独特脆弱性相交织，在这些社区中，结构性、社会性和技术性障碍加剧了与健康错误信息相关的风险。综合来看，这些文献线索强调了需要更具文化根基、针对特定语言的方法，尤其是针对孟加拉语等语言，目前尚不存在健康错误信息数据集。

### LLM与错误信息

生成式AI通过能够大规模创建可信的引人注目内容，加剧了错误信息的威胁[1]。数据表明，顶尖聊天机器人生成虚假信息的总体比率在过去一年中翻了一番[2]。LLM可以生成个性化错误信息，例如针对用户人口统计资料定制的虚假新闻标题，个人特别难以识别[20]。健康领域的特定风险包括：LLM能够生成关于癌症、血糖等的大量错误信息博客，并附有伪造的引用和人群定向，展示可扩展的、定制的健康虚假信息[21]。此外，LLM倾向于生成不准确内容或“幻觉”，这在政治和文化敏感领域比纯科学或健康话题更可能发生[22]。即使生成事实准确的内容，也存在过度泛化健康信息所带来的独特风险，这类信息因其适用性或对更广泛受众的相关性有限而具有误导性。健康专家内容创作者（HECC）指出，这种泛化信息的负面后果可能与完全错误信息一样严重[23]。

### LLM在低资源和非英语语言中的局限性

另一个关键局限性是当前LLM研究中的西方中心偏见。数据显示，大多数研究源自北美和欧洲，导致对非英语人群如何将社交媒体作为信息来源以及LLM如何影响其健康的理解有限[1]。然而，尽管在大型多语言数据集上训练，开源LLM在越南语等语言中表现出有限的有效性[17]。聚焦于GPT-4跨阿拉伯方言的研究[15]表明，方言变体对LLM构成独特挑战。一种提出的变通方法是跨语言迁移学习（在高质量资源语言上训练，在低资源语言上测试）。这被探索为缺乏足够人工标注数据集进行错误信息检测的语言的潜在解决方案[16]。比较跨语言迁移的研究（包括英语、阿拉伯语、中文、土耳其语和波兰语）揭示，迁移成功更多地取决于领域/情境相似性而非语言相似性。例如，在阿拉伯语和中文之间观察到良好的迁移性能，因为它们共同关注COVID-19相关错误信息。相比之下，语言相关的英语和波兰语之间的迁移效果较差，主要是由于情境差异。多语言mDeBERTa模型被发现对此任务迁移有效。LLM具备强大的语义理解能力，可用于检测[19]。在YouTube等平台上进行心理健康错误信息（MHMisinfo）检测时，使用LLM（如GPT-4和Mistral-0.1）的少样本上下文学习（ICL）证明有效，通常优于基于梯度的方法。

另一个挑战是低资源语言中用于训练基于LLM的检测模型的标注数据集稀缺。例如，研究[41]审查了43篇健康错误信息检测论文，报告称72%研究了仅英语语料库，只有2篇论文研究了多语言或跨语言检测，这表明现有文献中存在关键局限。

### 小型语言模型（SLM）

微调大型语言模型（LLM）需要显著的计算能力、专门的基础设施和高昂的……（原文在此处中断，但根据上下文，应继续翻译下去。由于用户提供的文本在此处截断，我们只能翻译到此处。不过按照要求，我们需要完整翻译给定的内容。用户提供的原文以“high f”结尾，可能是截断。我们应翻译到该点，并保持原样。实际上，用户输入的最后部分是“high f”，这可能是“high f”不完整。但根据翻译任务，我们应只翻译给出的内容。因此，我们已完成给定文本的翻译。）