在英中语音到语音翻译中评估和保留词汇重音

# 评估与保留英中语音到语音翻译中的词汇重音  
Source: https://arxiv.org/html/2606.15266  
Song Chen Li Nakamura  

###### 摘要  
语音到语音翻译（S2ST）系统在语义准确度和语音自然度方面取得了显著进展。然而，作为强调和说话者意图的关键线索，词汇重音的跨语言迁移仍远未得到充分探索，且因中文等声调语言缺乏可靠的自动评估指标而更加困难。我们通过构建一个带重音标注的中文数据集和一个基于XLS-R的普通话重音检测器，研究了英中S2ST的重音迁移。将该检测器与英语EmphAssess系统结合，我们提出了一种新的跨语言重音评估客观指标。此外，我们微调CosyVoice3构建了一个重音感知的S2ST系统。实验表明，我们提出的S2ST架构在重音翻译能力上显著优于现有系统，同时保持了有竞争力的翻译质量。此外，我们的评估指标与人类主观判断具有很强的相关性。  

###### 关键词：语音到语音翻译，词汇重音，韵律迁移，表现性语音合成，评估指标  

## 1 引言  
近年来，语音到语音翻译（S2ST）在神经语音建模和大规模多语言系统的推动下取得了快速发展[1 (https://arxiv.org/html/2606.15266#bib.bib1),2 (https://arxiv.org/html/2606.15266#bib.bib2),3 (https://arxiv.org/html/2606.15266#bib.bib3),4 (https://arxiv.org/html/2606.15266#bib.bib4)]。最近的统一端到端框架，如SeamlessM4T[5 (https://arxiv.org/html/2606.15266#bib.bib5),6 (https://arxiv.org/html/2606.15266#bib.bib6),7 (https://arxiv.org/html/2606.15266#bib.bib7)]和UnitY[8 (https://arxiv.org/html/2606.15266#bib.bib8)]，显著提升了语义准确度和语音自然度。为S2ST量身定制的评估指标（如BLASER[9 (https://arxiv.org/html/2606.15266#bib.bib9)]）进一步实现了无需文本的翻译质量鲁棒评估。因此，现代系统在实现强语义保真度和高质量音频合成方面能力很强。然而，自然口语交流的一个重要方面仍未被充分探索：词汇重音。韵律，特别是词汇和短语重音，在传达强调、说话者意图和语用意义中起着关键作用[10 (https://arxiv.org/html/2606.15266#bib.bib10),11 (https://arxiv.org/html/2606.15266#bib.bib11),12 (https://arxiv.org/html/2606.15266#bib.bib12),13 (https://arxiv.org/html/2606.15266#bib.bib13)]。最近的研究表明，当前的语音翻译系统在翻译过程中仅微弱地利用韵律信息[12 (https://arxiv.org/html/2606.15266#bib.bib12)]。在跨语言场景中，重音错误或缺失可能导致语义正确但语用误导的语音。尽管重音迁移非常重要，但在S2ST研究中仍未被充分探索[14 (https://arxiv.org/html/2606.15266#bib.bib14),15 (https://arxiv.org/html/2606.15266#bib.bib15)]。  
近年来的几项研究开始探索语音翻译中的强调保留。EmphAssess[16 (https://arxiv.org/html/2606.15266#bib.bib16)]引入了一个评估强调迁移的基准，并表明即使是最先进的模型也难以可靠地保留重音模式。StressTransfer[17 (https://arxiv.org/html/2606.15266#bib.bib17)]进一步探索了重音感知的S2ST架构，在这一方向上取得了早期进展。然而，评估和迁移重音——特别是对于普通话等声调语言——仍然是根本性的瓶颈。在普通话中，重音与声调和语境韵律紧密交互，导致其感知和声学机制与英语等重音语言截然不同。因此，直接迁移以英语为中心的强调检测模型是不可行的[13 (https://arxiv.org/html/2606.15266#bib.bib13),18 (https://arxiv.org/html/2606.15266#bib.bib18),19 (https://arxiv.org/html/2606.15266#bib.bib19)]。此外，即使是近期在印地语等印度语言中的重音迁移进展[20 (https://arxiv.org/html/2606.15266#bib.bib20),21 (https://arxiv.org/html/2606.15266#bib.bib21)]，由于普通话独特的韵律特征，也无法直接应用。因此，准确评估和量化英中S2ST中的重音迁移仍然是一个关键且未解决的挑战。  
在合成方面，在目标语言中生成高质量的重音语音是有效S2ST的前提。先前的工作，如StressTest[22 (https://arxiv.org/html/2606.15266#bib.bib22)]，已成功利用OpenAI TTS等模型生成英语重音语音。然而，生成普通话重音语音仍然是一个重大挑战。虽然近期像CosyVoice[23 (https://arxiv.org/html/2606.15266#bib.bib23)]这样的表现性语音LLM支持多样化语音生成，但它们一致且可靠地呈现中文特定词汇重音的能力非常不稳定。我们确定解决英中重音翻译瓶颈的主要障碍是缺乏高质量、带重音标注的中文语音数据集。没有针对性的强调数据，依赖通用TTS模型的S2ST管道在强调实现上会减弱。  
为应对这些挑战，我们聚焦于英中S2ST中的重音建模与评估。通过利用自监督的XLS-R表示[24 (https://arxiv.org/html/2606.15266#bib.bib24)]，我们开发了一个用于重音评估和生成的鲁棒框架。本文的主要贡献有三点：  
- 我们构建了一个高质量、带重音标注的中文语音数据集，解决了普通话强调建模中关键的数据稀缺问题。  
- 我们开发了一个名为Syl-BiLSTM的普通话重音检测模型。实验表明，它在重音检测任务中显著优于以英语为中心的基线模型。在此基础上，我们提出了一种用于跨语言重音迁移评估的客观指标，该指标与人类主观判断具有很强的相关性。  
- 利用我们的数据集，我们开发了一个重音感知的TTS系统，并提出了一个英中重音感知的S2ST架构。实验结果表明，我们的系统在重音保留能力上显著超越基线模型，同时保持了有竞争力的翻译质量。  

## 2 数据集构建  
由于缺乏专门用于强调建模的高质量中文数据集，我们遵循Chen等人[17 (https://arxiv.org/html/2606.15266#bib.bib17)]提出的方法论构建了专用数据集。我们的数据来源策略利用了EmphST-Bench和EmphST-INSTRUCT两个子集。具体来说，我们使用了EmphST-Bench中的所有218个中文样本，并从EmphST-INSTRUCT中选取了200个样本。  

**录音协议。** 我们招募了两名具有标准普通话水平的母语者。每位说话者在安静的房间内使用采样率为16,000 Hz的麦克风录制所选的中文句子。对于每个句子，说话者被展示目标强调位置，并被要求在保留声调类别且避免夸张的音高变化或音段修改的情况下，在标记的音节/汉字上产生自然的感知凸显。每个句子以相同目标强调位置录制3-5次，仅在弱、中、强三种重音提示下改变意图重音强度。  

**质量控制。** 我们手动检查了所有录音，仅保留满足以下条件的语句：(i) 意图重音音节/汉字清晰可感知；(ii) 没有意外的相邻重音主导目标重音；(iii) 声调和音段内容正确产出；(iv) 音频无截断、噪声或截断；(v) 强制对齐在汉字级别成功。任何不满足条件的录音均被丢弃。该过程共获得1,883个样本，涵盖418个独特句子和2.74小时的语音。收集数据集的统计信息总结于表1。  

**表1：收集的中文重音数据集统计**  

## 3 跨语言重音评估框架  
在本节中，我们介绍用于检测和评估跨语言重音迁移的框架。评估重音保留的一个核心挑战是英语等重音语言与普通话等声调语言之间的根本差异。为解决这一问题，我们设计了一个专用的普通话重音检测模型Syl-BiLSTM，并将其整合到综合的跨语言评估管道中。  

### 3.1 普通话重音检测：Syl-BiLSTM  
为了准确检测普通话中的重音，我们提出了Syl-BiLSTM，一种严格在音节级别操作并利用双向上下文建模的架构（如图1所示）。  

**图1：所提出的Syl-BiLSTM用于普通话重音检测的架构。**  

我们从预训练的XLS-R模型[24 (https://arxiv.org/html/2606.15266#bib.bib24)]的所有25层提取帧级表示，因为不同层编码了互补的声学、韵律和语义线索[25 (https://arxiv.org/html/2606.15266#bib.bib25)]。令 \( M \) 表示汉字数量。利用强制对齐时间戳，我们将隐藏状态分割成 \( M \) 个大小为 \([T, 25, 1024]\) 的汉字特定张量，其中 \( T \) 是每个汉字对应的可变帧数。然后，我们对 \( T \) 维进行时间均值池化，得到每个汉字的大小为 \([25, 1024]\) 的固定大小音节级表示。将这些汉字表示堆叠成长度为 \( M \) 的语句级序列。一个可学习的softmax归一化层融合将25个XLS-R层组合成单个序列表示 \( H_{\text{fused}} = \sum_{i=1}^{25} \text{softmax}(w_i) \cdot h_i \)，大小为 \([M, 1024]\)。为了建模普通话中的上下文重音模式，融合后的序列通过双向LSTM（BiLSTM），随后是一个线性头，为每个汉字预测一个二元重音标签（0表示无重音，1表示有重音）。  

### 3.2 跨语言重音评估管道  
基于我们的检测模型，我们设计了一个全面的跨语言评估管道，命名为跨语言强调迁移评分（Cross-lingual Emphasis Transfer Score，CETS），用于评估强调迁移的准确性。该评估过程系统地将源端英语重音映射到目标端中文翻译。  
首先，我们使用EmphaClass模型[16 (https://arxiv.org/html/2606.15266#bib.bib16)]检测源英语音频中的强调。EmphaClass利用XLS-R生成帧级二元分类，若源词超过50%的帧被预测为强调，则该词被分类为重音。对于目标中文语音，我们首先使用Whisper Large模型[26 (https://arxiv.org/html/2606.15266#bib.bib26)]将合成的音频转录为文本。随后，我们使用fa-zh强制对齐工具提取精确的汉字级时间戳。结合转录和对齐边界，我们训练的Syl-BiLSTM处理中文语音，为每个汉字生成相应的二元重音预测。  
为了建立源端和目标端强调之间的精确对应关系，我们使用SimAlign框架[27 (https://arxiv.org/html/2606.15266#bib.bib27)]进行跨语言词对齐。SimAlign利用多语言预训练语言模型自动提取英语源词与中文目标汉字之间的最优匹配。基于这种精确的跨语言映射，我们定义了重音转移成功的严格标准：当且仅当被EmphaClass检测为重音的英语源词直接对齐到被我们的Syl-BiLSTM检测为重音的目标中文汉字时，重音翻译被视为成功。这种严格的匹配要求确保了强调不仅仅是在输出中任意生成，而是被准确保留并迁移到语义对应的位置。  

## 4 重音感知的S2ST架构  
为了在跨语言迁移中实现高保真度的重音保留，我们提出了一个级联的重音感知语音到语音翻译（S2ST）框架。如图2所示，我们的系统将重音感知的语音到文本（S2T）翻译模块与重音可控的文本到语音（TTS）合成模块连接起来。  

**图2：我们提出的重音感知S2ST系统的整体架构。**  

### 4.1 重音感知的语音翻译  
对于翻译组件，我们采用StressTransfer S2TT骨干网络[17 (https://arxiv.org/html/2606.15266#bib.bib17)]，使用Whisper-Large-v3作为语音编码器，Qwen2.5-3B作为LLM。LLM经过微调以同时执行翻译和强调预测，输出带有显式重音标签的翻译中文文本。这种显式标签桥接了源端声学强调与目标端语言语义之间的差距。为了在适应重音预测任务的同时保持通用翻译能力，我们对语音编码器和LLM骨干应用低秩适应（LoRA）[28 (https://arxiv.org/html/2606.15266#bib.bib28)]，同时完全微调适配器模块。  

### 4.2 重音可控的语音合成  
合成语音由基于标签文本的合成模块生成。我们使用CosyVoice 3[23 (https://arxiv.org/html/2606.15266#bib.bib23)]作为基础TTS模型。虽然通用TTS模型能生成高质量语音，但它们在普通话中往往难以可靠地呈现特定词汇重音。为解决这一问题，我们在新收集的中文重音标注数据集上微调CosyVoice 3。为了减轻由于数据集规模有限可能导致的灾难性遗忘和过拟合，我们冻结文本和语音分词器，并对Transformer块的注意力和投影层（q_proj, k_proj, v_proj, o_proj）应用LoRA。在训练过程中，我们显式使用文本输入中的 `<emphasis>` 标签来表示重音。模型通过交叉熵损失进行优化，以最大化在给定提示 \( T_{\text{prompt}} \)、文本 \( T_{\text{text}} \) 和重音标签 \( P_{\text{tag}} \) 的条件下，预测目标语音令牌 \( s_t \) 的概率：  
\[ L = -\sum_{t} \log P(s_t \mid s