重排中迷失：语义保持扰动下多语言大语言模型的结构敏感性

arXiv cs.CL 论文
multilingual-llm robustness structural-perturbations mathematical-reasoning indian-languages benchmark-dataset

摘要

本文研究了多语言大语言模型在印地语和马拉雅拉语中对语义保持扰动的结构敏感性，结果显示在数学推理性能上有显著下降，并引入了IndicReStruct基准进行评估。

arXiv:2609.03511v1 Announce Type: new 摘要：大语言模型（LLMs）展现出强大的多语言推理性能，但其对语义保持结构变化的鲁棒性仍未被充分探索，特别是对于词序相对自由的语言。我们使用印地语和马拉雅拉语中两种基于语言学的扰动设置来研究多语言LLMs的结构敏感性：约束成分重排和主动-被动语态转换。我们引入了一个基准数据集IndicReStruct，有两个变体，GSM8K-Reordered和GSM8K-Voice，基于GSM8K构建并保持语义意义。在六种最先进的LLMs和多种提示策略下，我们观察到在结构扰动输入下数学推理性能的一致显著下降。为了进一步理解这些失败，我们进行了定性错误分析和机制可解释性实验，使用残差流激活补丁。我们的分析表明，推理失败通常源于实体-数量对齐的破坏，而中间Transformer层对推理恢复的贡献最大。总体而言，我们的发现表明，当前的多语言LLMs对表层句法实现高度敏感，在结构不同但语义等价的输入下缺乏稳健的组合不变性。
查看原文
查看缓存全文

缓存时间: 2026/09/04 06:01 

# 结构敏感性探究：语义保持扰动下多语言LLMs的表现失常现象
原文链接：https://arxiv.org/abs/2609.03511  
查看PDF (https://arxiv.org/pdf/2609.03511)

> **摘要：**大型语言模型（LLMs）展现出强大的多语言推理能力，但其对于语义保持型结构变异的鲁棒性研究仍存在空白，特别是针对词序相对自由的语言。本研究通过印地语和马拉雅拉语中两种语言学基础的扰动设置——受限成分重排与主动-被动语态转换——探究多语言LLMs的结构敏感性。我们构建了基准数据集IndicReStruct，包含GSM8K-Reordered与GSM8K-Voice两个变体，在保持语义一致的前提下对GSM8K进行改造。针对六种主流LLMs与多种提示策略的实验表明，结构扰动输入会导致数学推理性能出现持续且显著的下降。为深入分析故障机制，我们通过残差流激活补丁技术进行定性误差分析与机制可解释性实验。研究发现，推理失败常源于实体-数量对齐关系的破坏，且中间Transformer层对推理恢复具有最强贡献。总体而言，研究揭示当前多语言LLMs仍高度依赖表层句法实现，在结构相异但语义等价的输入下缺乏组合不变性。

## 提交记录

来自：N J Karthika \[查看邮箱 (https://arxiv.org/show-email/3dcace1c/2609.03511)\] **\[v1\]**2026年9月3日 星期四 08:10:43 UTC（1,839 KB）

相似文章

推理大语言模型中的隐藏语言一致性现象

arXiv cs.CL

本文研究多语言推理模型，揭示输出中的语言一致性可能随任务难度增加而退化或崩溃，尤其是对于资源较少的语言。文章认为，评估多语言能力需要同时考虑准确性、语言一致性和任务难度。

安全对齐幻觉：LLMs中的跨语言安全差距

arXiv cs.AI

本文介绍了INCLUDE，一个多语言评估基准，用于量化LLMs中以印度为中心的社会文化偏见，揭示非英语印度语言比英语表现出更高的偏见，表明存在跨语言安全对齐差距。

脆弱的思考：大型语言模型如何处理思维链扰动

arXiv cs.CL

本论文对大型语言模型在思维链推理步骤中处理损坏情况的能力进行了全面的实证评估,在数学推理任务上针对13个模型和5种扰动类型(数学错误、单位转换、盲从、跳过步骤、额外步骤)进行了测试。研究结果揭示了异质性的漏洞模式,对在多阶段推理管道中部署LLM具有重要意义。