名字里有什么？大语言模型在药理学中的形态学捷径

# 名字里有什么？大型语言模型在药理学中的形态学捷径  
来源：https://arxiv.org/html/2606.05616  

Kaijie Mo¹, Thomas Yang¹, Chantal Shaib², Qing Yao¹, William Rudman¹, Ramez Kouzy³, Kanishka Misra¹, Byron C. Wallace², Junyi Jessy Li¹  

¹德克萨斯大学奥斯汀分校，²东北大学，³MD安德森癌症中心  

{monicamo, thomas.yang, qyao, william.rudman, kmisra, jessy}@utexas.edu  
{shaib.c, b.wallace}@northeastern.edu, [email protected]  

###### 摘要  

单词的形态往往能为其含义提供线索，但在高风险领域，纯粹依赖这种映射关系可能导致过度泛化。例如，在医学领域，大型语言模型仅凭词缀（如 `wugcillin`）就能自信地对虚构药物进行推理，并生成看似合理的临床内容。我们针对药理学中 LLM 的“词缀启发法”进行了一项行为学和机制学研究。利用由真实词缀构建的虚构药物名称，我们证明仅凭词缀信号就能引发类别级的药理学响应。我们引入了一个框架，用于识别模型的药物语义主要来源于词缀、词干还是整个药物名称。将该框架应用于 653 种药物后，我们发现模型通常主要通过词缀线索推导药物含义，但很少明确表明这种依赖关系，并且有时会错误地混淆共享词缀药物之间的属性。跨模型的激活修补进一步将此行为定位于早期到中期层。这些发现表明，形态学捷径对安全性构成了微妙但可测量的风险。  

¹¹ ¹GitHub项目：https://github.com/KaijieMo-kj/Morphological-Shortcuts.  

## 名字里有什么？大型语言模型在药理学中的形态学捷径  

Kaijie Mo¹, Thomas Yang¹, Chantal Shaib², Qing Yao¹, William Rudman¹, Ramez Kouzy³, Kanishka Misra¹, Byron C. Wallace², Junyi Jessy Li¹  

¹德克萨斯大学奥斯汀分校，²东北大学，³MD安德森癌症中心  

{monicamo, thomas.yang, qyao, william.rudman, kmisra, jessy}@utexas.edu  
{shaib.c, b.wallace}@northeastern.edu, [email protected]  

## 1 引言  

人类会自然利用形态线索（前缀、后缀和词干）来推断陌生词汇的含义 Tamminen et al. (2015) (https://arxiv.org/html/2606.05616#bib.bib21); Solaja and Crepaldi (2024) (https://arxiv.org/html/2606.05616#bib.bib20); Dawson et al. (2021) (https://arxiv.org/html/2606.05616#bib.bib5)。例如，即使事先不了解“ampicillin”，人类也可能从后缀“-cillin”推断它很可能是一种药物，而受过医学训练的人则可能进一步识别出它很可能是一种抗生素。近期的研究表明，LLM 也能从形态结构中泛化 Hofmann et al. (2025) (https://arxiv.org/html/2606.05616#bib.bib12); Weller-Di Marco and Fraser (2024) (https://arxiv.org/html/2606.05616#bib.bib22); Anh et al. (2024) (https://arxiv.org/html/2606.05616#bib.bib2)。表面形式虽具有提示性，但并不总是与事实含义一致。如图 1 (https://arxiv.org/html/2606.05616#S1.F1) 所示，虽然 LLM 已掌握表面形式，但它们可能缺乏这种校准：在下一个词元预测下，像“-cillin”这样的词缀本身就能预测后续的药理学内容，并且这种由形态驱动的外推可能以与记忆事实相同的置信度表达出来。这提出了一种形态学捷径的可能性，即预测是由形态而非具体的事实知识驱动的。  

![图1](https://arxiv.org/html/2606.05616#S1.F1 "Figure 1: 示例：由形态驱动的推理。人类可能会谨慎推断 dimicillin 因后缀“-cillin”而类似于抗生素，而 LLM 可能对真实药物和虚构药物产生同样自信的续写内容。我们系统地从行为学和机制学层面量化了这种行为。")  

此问题在医学领域尤为突出，因为该领域的形态模式高度系统化，且存在固有的安全风险。与普通词汇不同，许多药物名称词缀由世界卫生组织在 INN 系统下标准化，以标记药理学或化学类别 World Health Organization (2017) (https://arxiv.org/html/2606.05616#bib.bib23)，这很可能使 LLM 在训练期间接触到异常一致的形式-类别对应关系。然而，我们对这种条件下的形态泛化了解甚少。因此，我们调查了 LLM 在多大程度上依赖这些词缀信号，这种依赖能否被系统量化并在机制层面定位，以及它在医学环境中可能带来哪些潜在风险。我们的分析分为三部分：  
(1) 行为学分析：我们首先评估 LLM 在医学环境中从词缀推断属性的程度。通过使用虚构药物名称来纯化形态学信号与药物特定知识，我们证明仅凭词缀线索就足以引发类别级的药理学响应。例如，虚构药物 dimicillin（非词词干“dimi-”+ 真实词缀“-cillin”）被当作-cillin 抗生素来处理，并被描述为用于治疗细菌感染。  
(2) 诊断框架：接下来，我们引入衡量药物语义来源（词缀、词干或整个词）的指标。我们发现，对于大量药物，模型主要通过词缀线索推导其含义，但很少明确表明这一点。此外，我们表明它们有时会混淆共享相同词缀的药物之间的药理学事实（例如，将带有-cillin 词缀的一种药物的属性归因于另一种）。  
(3) 机制分析：为了理解这种行为如何在内部产生，我们对 OLMo-3-7B-Instruct 和 Qwen2.5-7b-Instruct 进行了机制分析，这些模型表现出清晰的词缀驱动行为，并且提供了对模型内部结构的透明访问。我们将词缀驱动的启发法定位于早期到中期层，并识别出介导从形态线索进行药理学类别识别的分布式因果方向。  

综上所述，这些发现表明，词缀驱动的捷径是 LLM 处理药物名称的系统性方式。它们通常仅从形态中产生，泛化到多样的临床输入，并塑造真实药物的表示。此外，LLM 通常不会表明输出是否依赖于形态推理。它们也容易在同一词缀的药物之间产生类别内混淆。使用模型内部结构可以定位词缀依赖并进行因果控制。这项工作为审计医学 LLM 行为提供了工具，并为未来的安全干预提供了机制性目标。  

## 2 相关工作  

越来越多的工作探究 LLM 的输出是否反映了关于世界的知识，还是表面形式的统计许可续写 Bender and Koller (2020) (https://arxiv.org/html/2606.05616#bib.bib3); Mitchell and Krakauer (2023) (https://arxiv.org/html/2606.05616#bib.bib14); Quattrociocchi et al. (2025) (https://arxiv.org/html/2606.05616#bib.bib18)。在输出层面，两者很难区分：一个看似合理且自信的模型输出可能基于参数化知识，也可能基于对表面线索的外推 Geirhos et al. (2020) (https://arxiv.org/html/2606.05616#bib.bib8); Du et al. (2023) (https://arxiv.org/html/2606.05616#bib.bib6); Yuan et al. (2024) (https://arxiv.org/html/2606.05616#bib.bib26)。这提出了一个具体问题：输入语言的哪些特征本身就能单独许可自信的、听起来像事实的输出？形态结构为此问题提供了一个特别有信息量的窗口。近期的研究表明，LLM 能够将派生模式泛化到记忆词汇之外，并从重复出现的词缀中推断语义规律 Anh et al. (2024) (https://arxiv.org/html/2606.05616#bib.bib2); Pantelidou et al. (2026) (https://arxiv.org/html/2606.05616#bib.bib17)。人类研究同样表明，词缀在陌生词汇学习过程中提供了强烈形式-含义线索 Tamminen et al. (2015) (https://arxiv.org/html/2606.05616#bib.bib21); Dawson et al. (2021) (https://arxiv.org/html/2606.05616#bib.bib5); Solaja and Crepaldi (2024) (https://arxiv.org/html/2606.05616#bib.bib20)。然而，先前的工作主要关注语言生产力或对非词形式的语义推理，而非在安全敏感领域中的此类推理的真实世界后果。我们通过针对医学词缀的受控评估来填补这一空白。  

医学领域提供了一个特别清晰的实例：药物命名是经过工程设计的，具有标准化的词缀，旨在标记药理学类别 World Health Organization (2017) (https://arxiv.org/html/2606.05616#bib.bib23); Serafini et al. (2021) (https://arxiv.org/html/2606.05616#bib.bib19)。这也是一个将流畅续写误认为事实知识会带来具体后果的领域。先前的工作已记录了临床决策支持中的幻觉风险 Kim et al. (2025) (https://arxiv.org/html/2606.05616#bib.bib13)，包括引发自信阐述虚假临床细节的对抗性提示 Omar et al. (2025) (https://arxiv.org/html/2606.05616#bib.bib16)，并且基准测试表明，通用和医学 LLM 都会产生误导性输出，同时未能将其识别为幻觉 Agarwal et al. (2024) (https://arxiv.org/html/2606.05616#bib.bib1)。值得注意的是，LLM 甚至曾将药物列表中的宝可梦名称误认为是真实药物 Henry et al. (2026) (https://arxiv.org/html/2606.05616#bib.bib11)。总的来说，这些研究确立了幻觉是一个重要问题，但未检验药学中现有的标准形态结构是否会系统性地导致不良的过度泛化。  

## 3 刺激设计及数据集构建  

| 条件 | 示例 | 
|------|------| 
| 真实药物 | 真实药物类AMA词缀示例：ampicillin | 
| 虚构药物 | 非词词干 + 真实词缀：dimicillin | 
| 非词 | 非词词干 + 非词词缀：dimiglimto |  

表 1：数据集中匹配刺激三元组的示例：一种真实药物、一种由非词词干和真实词缀构成的虚构药物，以及一种由相同非词词干和长度匹配的非词词缀构成的非词。  

我们从美国医学会 (AMA) 词缀列表²²中构建了一个三元刺激集，该目录收录了 655 个医学词缀，附有典范药物示例及其药理学类别的定义。每个词缀在每个条件下产生一个项目，从而形成三个平行集合（表 1）。²²https://www.ama-assn.org  
³³ 我们排除了两个真实药物案例（例如 yttrium (90y) clivatuzumab tetraxetan），原因是格式不规则。  

真实药物是来自 AMA 示例的经验证药物（例如，ampicillin）。虚构药物将非词词干与真实词缀结合（例如，dimi- + -cillin → dimicillin）。非词词干取自 Mo et al. (2026) (https://arxiv.org/html/2606.05616#bib.bib15)：它们符合语音模式，并且不存在于维基百科和韦氏词典中，从而确保最小训练暴露。对于每种真实药物，我们抽取一个长度与原始词干匹配的非词词干，并通过谷歌搜索验证所得形式不是经验证药物（附录 A (https://arxiv.org/html/2606.05616#A1)）。  

非词将相同的非词词干与长度匹配的非词词缀配对（例如，dimiglimto），作为无药理学形态的对照。该设计隔离了词缀信号对非存在形式是否被解释为有意义药物的贡献。  

![图2](https://arxiv.org/html/2606.05616#S3.F2 "Figure 2: 模型在多种选择（上）和开放式（下）任务中在 Real、Fake 和 Nonce 条件下的响应。在多种选择中，标签包括词缀一致的释义、干扰项和“不存在的药物”。在开放式任务中，“Yes”表示模型将药物视为真实，“No”表示不视为真实。虚构药物名称始终将响应转向词缀一致的释义和更高的“Yes”率。")  

## 4 行为学分析：词缀信号泛化到虚构药物名称  

当呈现一个以真实药理学词缀结尾的虚构药物名称时，模型是否会将药物类别属性推断为好像该“药物”是真实的一样？我们在两种问答设置中评估模型行为。  

### 4.1 实验设计  

我们使用两种任务评估词缀驱动行为：  
(1) 多种选择 (MC)：给定提示“What is {drug_name}?”，模型在以下选项中选择：(i) 正确的词缀暗示的药物类别定义，(ii) 两个随机采样的来自无关真实药物的定义，以及 (iii) 一个“不存在的药物”选项。每个数据点的选项顺序随机打乱（详见附录 B (https://arxiv.org/html/2606.05616#A2)）。  
(2) 开放式用户查询 (OE)：对于每个词缀，我们从真实药物生成自然的用户风格问题（附录 B 中的示例 (https://arxiv.org/html/2606.05616#A2)），并将原始药物名称替换为虚构药物，得到诸如“Is {drug_name} effective for treating {condition}?”的查询。在第 4.2 节 (https://arxiv.org/html/2606.05616#S4.SS2.SSS0.Px2) 中，我们进一步对没有临床上下文的查询进行实验。  

#### 评估  
在 MC 中，我们测量模型是否选择词缀一致的释义。在 OE 中，我们使用 Claude-Sonnet-4.5 作为 LLM 裁判，判断响应是否将药物视为真实（附录 B (https://arxiv.org/html/2606.05616#A2)）。“Yes”表示将药物视为真实，“No”表示不视为真实药物。在 300 个人工标注的跨模型案例上，裁判达到 92.3% 准确率和 89.3% F1（附录 C (https://arxiv.org/html/2606.05616#A3)）。  

#### 模型  
我们评估了九个 LLM。⁴⁴ 包括：Gemini-3-Flash (Gemini-3), Gemini-2.5-Flash (Gemini-2.5), GPT-5-mini, Llama-3.1-70B-Instruct (Llama-3.1-70B; Grattafiori et al., 2024 (https://arxiv.org/html/2606.05616#bib.bib9)), OLMo-3-7B-Instruct (Groeneveld et al., 2024 (https://arxiv.org/html/2606.05616#bib.bib10)), OLMo-3-7B-Think, Qwen2.5-7B-Instruct (Yang et al., 2025 (https://arxiv.org/html/2606.05616#bib.bib25)), 以及两个 Qwen2.5-7B-Instruct 的医学专用变体：HuatuoGPT-o1-7B (Huatuo-o1-7B; Chen et al., 2025 (https://arxiv.org/html/2606.05616#bib.bib4)) 和 Meditron3-Qwen2.5-7B (Meditron3-7B)。  
我们对所有模型使用温度 0，除了 GPT-5-mini（它不可用确定性解码），并另外使用相应推理框架的默认生成设置。更多设置细节见附录 D (https://arxiv.org/html/2606.05616#A4)。  

### 4.2 结果  

图 2 (https://arxiv.org/html/2606.05616#S3.F2) 显示，模型在真实药物名称上表现良好，而虚构药物名称相对于非词条件，始终将响应转向词缀一致的定义或更高的 Yes 率，证明词缀线索本身就能触发类别级的药理学预测。在多种选择任务中，此效应随模型规模扩大而扩大，较大的模型（Llama-3.1-70B, Gemini 变体）比 7B 模型表现出更强的泛化。在 OE 中，模式更为两极分化：专用的医学模型，特别是 Meditron3-7B 和 HuatuoGPT，表现出最强的过度泛化，通常将 Real、Fake 甚至 Nonce 输入同样视为有效药物。在两个任务中，非词词比具有词缀合理性的虚构药物引发更保守的响应，证实有效的词缀结构是虚构药物被接受的关键驱动因素。CoT 提示通常增加模型的保守性（附录 F (https://arxiv.org/html/2606.05616#A6)），减少对虚构药物的词缀一致预测和肯定的疗效判断，同时也轻微抑制对真实药物的识别。  

#### 逐词缀分析  
为了分析词缀驱动泛化的稳定性，我们进一步检验了每个词缀的模型行为。结果显示，某些词缀（如 -cillin）在多个模型和任务中始终引发高比率的词缀一致响应，而其他词缀则表现出更大异质性。这表明词缀的频率和语义清晰度可能调节模型的依赖程度。