基于LLM的文学翻译中的情绪特征分析:机器翻译与后期编辑的系统性转变
摘要
本文通过对比研究玛格丽特·阿特伍德的《羚羊与秧鸡》译成意大利语的情况,探讨大语言模型(LLM)翻译是否表现出可识别的情绪特征,以及后期编辑如何将其重塑为更接近人类的标准。
arXiv:2606.10113v1 发布类型:新
摘要:本文研究大语言模型(LLM)翻译是否表现出可识别的情绪特征,以及后期编辑如何将其重塑为更接近人类的标准。我们比较了玛格丽特·阿特伍德《羚羊与秧鸡》的LLM翻译及其后期编辑版本和人工翻译,并以大规模当代意大利科幻小说语料库为基线。我们通过基于词典和多语言建模来检验情绪,对系统间的情绪变化进行细粒度分析。我们发现MT系统在翻译中引入了模型特定且统计显著的情绪印记,导致作者声音的保留有限。
查看缓存全文
缓存时间: 2026/06/10 06:09
# 基于LLM的文学翻译中的情感轮廓:机器翻译与译后编辑中的系统性偏移 来源:https://arxiv.org/html/2606.10113 \\ltx@ifpackageloaded pdflscape Antonio Castaldo¹,², Johanna Monti¹, Sheila Castilho³ ¹那不勒斯“东方”大学²比萨大学³都柏林城市大学 antonio\.castaldo@phd\.unipi\.it,jmonti@unior\.it, sheila\.castilho@adaptcentre\.ie ###### 摘要 本文探讨了LLM翻译是否表现出可识别的情感轮廓,以及译后编辑如何将其重塑,使之更接近人类翻译的规范。我们以玛格丽特·阿特伍德的《羚羊与秧鸡》为例,比较了LLM翻译、译后编辑版本及人工翻译,并以一个大型当代意大利语科幻小说语料库作为基线。我们通过基于情感词典和多语言建模的方法,对系统间的情感变化进行了细粒度分析,发现机器翻译系统在翻译过程中引入了特定模型且具有统计显著性的情感指纹,从而导致作者声音的保留程度有限。 ## 1 引言 大型语言模型(LLMs)已迅速成为机器翻译(MT)的主流方法,尤其是在文学翻译领域,其范围超越了单纯的意义传递,涵盖了作者声音、风格及美学意图的保留[24 (https://arxiv.org/html/2606.10113#bib.bib60)]。 近年来关于LLMs的研究表明,它们在处理比喻性语言[6 (https://arxiv.org/html/2606.10113#bib.bib727),17 (https://arxiv.org/html/2606.10113#bib.bib879)]及上下文相关问题[7 (https://arxiv.org/html/2606.10113#bib.bib648)]方面取得了显著进步。这些进步使得LLMs在文学翻译(这类特征至关重要)领域前景广阔。然而,尽管有这些改进,它们在多大程度上能够保留作者声音仍有待探索。考虑到译后编辑(PE)时,这一差距变得更加重要。虽然通常认为PE能使MT输出在质量上更接近人工翻译(HT),但目前尚不清楚PE在多大程度上保留了源文本中的作者声音,或者是否受到MT系统引入的文体干扰的影响。 在本研究中,我们通过情感轮廓的视角来研究作者声音的呈现方式,探究不同的MT范式是否会引入不同的情感模式,以及这些模式在译后编辑过程中如何转变。因此,作者的情感声音指的是作者在原文中意图表达情感的方式。我们针对加拿大作家玛格丽特·阿特伍德[2 (https://arxiv.org/html/2606.10113#bib.bib617)]的文学作品《羚羊与秧鸡》从英语到意大利语的一套翻译进行了比较研究。我们分析了三个LLM系统的输出、它们的译后编辑版本以及已出版的人工翻译(HT)。 为了补充此分析并评估我们发现的稳健性,我们使用Wattpad上的一个大型当代意大利语科幻小说语料库。从这个语料库中,我们采样了100万个词元,并使用一个LLM(TowerPlus-2B)和一个NMT系统(NLLB-200-600M)生成了平行翻译。这个大设置使我们能够超越个别示例,检验情感变化中具有统计显著性的模式。使用基于词典和多语言建模的方法,我们考察了源文本与翻译之间的情感变化,即情感化语言表达方式上的差异,发现两个系统都引入了系统性的、具有统计显著性的情感属性变化。 我们的发现强调,MT系统表现出独特的情感指纹,反映在情感内容在整个文本中的分布、增强或减弱方面的系统性差异。译后编辑在恢复作者声音方面的效果似乎受到底层MT模型质量的强烈限制。我们进一步发现这些情感指纹具有统计显著性,并且特别集中在情感显著的高峰处,在这些地方,作者的情感声音最应被忠实保留。 ## 2 相关工作 在翻译研究领域,大量学术文献关注翻译文本是否表现出与自然产生的人类写作显著不同的统计特征[10 (https://arxiv.org/html/2606.10113#bib.bib57),23 (https://arxiv.org/html/2606.10113#bib.bib58),11 (https://arxiv.org/html/2606.10113#bib.bib59)]。基于语料库语言学的研究方法植根于Baker[3 (https://arxiv.org/html/2606.10113#bib.bib61)]的开创性工作,他引入了“翻译共性”的概念。根据作者的说法,翻译共性是指无论源语和目标语如何,翻译文本中普遍存在的语言特征假说,这种现象通常被称为“翻译腔”。这些发现为翻译文本的文体计量分析奠定了方法论基础,从而引出假说:如果人工译者留下可识别的指纹,那么MT系统也应该会留下指纹,而且可能以更系统的方式。 为此,后续研究证实了这一假说,发现MT系统显示出翻译腔的痕迹[4 (https://arxiv.org/html/2606.10113#bib.bib56)]。关于NMT,Vanmassenhove等人[22 (https://arxiv.org/html/2606.10113#bib.bib46)]特别记录了多个语言对中NMT输出词汇多样性的损失,这可能代表了一种普遍的指纹。这得到了后续研究的证实,作者们指出NMT系统倾向于加剧常见模式[21 (https://arxiv.org/html/2606.10113#bib.bib55)]。尽管该领域的文献日益增多,但译后编辑对LLM输出的文体效果尚不明确。 关于译后编辑的研究通常集中在NMT系统上,其中“译后编辑腔”概念被引入,作为一种表征译后编辑翻译的独特语域,既不同于MT输出,也不同于人工翻译。研究发现,译后编辑会引入中间文体计量轮廓和文体规范化[20 (https://arxiv.org/html/2606.10113#bib.bib49)]。基于Baker理论的更近期工作揭示了文学文本NMT输出中译后编辑腔的证据,发现在文体特征方面,译后编辑的翻译更接近MT输出而非人工翻译[8 (https://arxiv.org/html/2606.10113#bib.bib64)]。 大多数关于翻译腔和译后编辑的研究都集中在表层特征上,如词汇多样性和频率分布。虽然这些度量提供了有价值的见解,但在文学翻译的背景下,它们只提供了风格的部分视角。在文学文本中,作者的声音不仅体现在结构和词汇选择上,还体现在叙事中传达的情感的分布和强度上。在这方面,研究人员已经开发了用于识别和分析文本中情感的资源[12 (https://arxiv.org/html/2606.10113#bib.bib2),15 (https://arxiv.org/html/2606.10113#bib.bib1)],适用于单语和多语设置。基于情感词典的方法已被证明能够产生与机器学习及基于transformer的方法相当的准确性,并且还具有透明性和可解释性的额外优势[19 (https://arxiv.org/html/2606.10113#bib.bib52),14 (https://arxiv.org/html/2606.10113#bib.bib51)]。 在本工作中,我们利用现有资源对MT输出进行基于情感的分析。具体来说,我们对文本的情感轮廓进行建模,并研究其如何通过翻译过程而转变。我们将此分析扩展到译后编辑输出,探讨译后编辑是减轻还是强化了这些情感变化,以及译后编辑腔是否表现出独特的情感指纹。 ## 3 实验设置 我们进行了两个主要实验:一项是受控研究,聚焦于玛格丽特·阿特伍德《羚羊与秧鸡》的文学节选,对此我们拥有专业人工翻译、三个不同LLM生成的翻译以及三个译后编辑的MT输出,如第3.1节所述。在这个语料库上,我们依赖意大利语情感词典[15 (https://arxiv.org/html/2606.10113#bib.bib1)]来比较各翻译版本的情感密度和强度。通过这个实验,我们旨在探究MT系统在保留、放大或减弱文本情感声音方面是否引入特定模型的行为,以及译后编辑如何影响这些方面。 第二个研究是对一个自然发生的文学文本语料库进行大规模分析,该语料库来自一个名为Wattpad的同人小说平台。从Wattpad上,我们爬取了一千个故事,总计2500万个词元。这些故事来自相关的科幻类别,且均在最近五年内发表。对于第二个实验,我们采用了一种更具可扩展性的方法,使用其多语言版本的NRC情感词典[12 (https://arxiv.org/html/2606.10113#bib.bib2)]。 ### 3.1 数据收集 本研究中分析的翻译来自之前的一项研究,在该研究中,玛格丽特·阿特伍德《羚羊与秧鸡》的121个片段被使用不同的MT系统翻译,随后由专业文学翻译者进行译后编辑[5 (https://arxiv.org/html/2606.10113#bib.bib36)]。我们选择《羚羊与秧鸡》是因为这部小说包含风格丰富的段落、比喻性语言和新词,使其特别适合研究情感变化。这些特征允许不同翻译版本之间出现不同的译法和创造性偏离。该语料库的多样化组成,包含了不同最先进MT系统的专业翻译和译后编辑版本,使其成为我们研究的理想资源。关于翻译和译后编辑流程的完整细节,请参考该工作。 为了实证验证我们的情感分析,我们编制了一个大型当代意大利语科幻小说参考语料库。该语料库通过使用Python库Scrapy¹爬取主要用户生成小说平台Wattpad构建而成。我们从平台分类系统标识为科幻类型的1000个故事中收集了所有可用章节。使用langdetect²进行语言识别,仅保留被分类为意大利语的文本,最终得到约2500万个词元的语料库。 Wattpad语料库使我们能够评估在MT、LLM、PE和HT输出中观察到的情感轮廓是否反映了模型的系统性倾向。通过将这些输出与自然发生的意大利语科幻散文的广泛样本进行比较,我们可以更可靠地识别哪些情感变化是由不同翻译过程一致引入、放大或抑制的。 ### 3.2 词汇资源 如前所述,本研究主要使用两个词汇资源:意大利语情感词典[15 (https://arxiv.org/html/2606.10113#bib.bib1)]和NRC情感词典[12 (https://arxiv.org/html/2606.10113#bib.bib2)]。这两个资源都采用基于Plutchik[16 (https://arxiv.org/html/2606.10113#bib.bib50)]模型的八种基本情感,但在构成方式及暴露的数据上有所不同。 #### 意大利语情感词典。 意大利语情感词典是根据来自意大利语母语者的在线调查数据构建的,参与者被要求为每种情感产生五个单词。然后使用这个种子词列表来填充词典。该词典提供了与八种情感中每一种相关联的单词列表,并带有词性标注和频率数据。有趣的是,它还暴露了情感质心以及每个词汇项到质心的余弦相似度。 #### NRC情感词典。 NRC情感词典则是通过众包为英语构建的,其中标注者将预定义的单词与情感关联起来。NRC情感词典暴露了一个单词列表,每个单词与每种情感有二元关联。除了情感,每个单词还标注了极性(正面、负面)。在后续版本中,它也被改编用于多语言任务,支持包括意大利语在内的超过108种语言。 ## 4 结果 在本节中,我们探究不同的翻译版本(HT、LLM和PE)是否表现出不同的情感轮廓,以及这些轮廓在多大程度上趋近于HT。我们关注两个主要维度:文本中情感相关词元相对于实词的数量,以及单词与词典中情感类别的关联强度。 为此,我们首先检查情感词典中匹配到的词元数量相对于总单词数的比例。这提供了情感词汇项目使用频率的指示。 表1:按翻译版本划分的,来自情感词典匹配到的情感相关词元及单词计数。表1提供了各系统情感相关词元原始计数的概览。如果MT系统保留了源文本的情感轮廓,我们会期望它们的值与人工翻译一致。相反,系统性偏差可能表明特定模型的倾向。 如表1所示,MT输出在情感词典的词汇对齐程度上有所不同。特别是,一些系统产生了较少匹配到的词元,表明倾向于低代表性情感相关词汇,而另一些系统则接近HT中观察到的水平。译后编辑版本通常增加了匹配到的词元数量,表明人工干预倾向于重新引入或加强与HT一致的情感词汇选择。情感词典保留的缺乏可能归因于翻译中的准确性错误或幻觉输出。我们使用翻译质量度量³和HT作为参考,验证了不同MT版本之间的对齐程度。我们在表2中提供了按系统和翻译版本划分的质量度量结果。 表2:各MT输出及其译后编辑(PE)版本的自动评估分数。我们从表2观察到,整体上MT系统在所有度量上达到了可比较的质量,并且即使获得高分的系统在情感词典方面与HT也存在偏差。唯一可观察到的例外是Mistral,它是性能最差的系统,并且在匹配词元方面也显示出最大的差异,如表1所示。 ### 4.1 情感分析 为了更细粒度地探究情感如何分布以及其表达强度,我们通过计算情感密度和强度来补充分析。虽然这两个度量确实相关,但它们衡量不同的现象。密度捕捉了实词中情感词典匹配的比例。而强度…… (未完待续,但根据指令,我们只需翻译提供的文本。原文本在"whereas intense"处截断。我们将保持原样。) 注意:原文最后一句不完整。我们按原文翻译。 注意:表1和表2在原文中后面还有引用,但翻译时我们保留其引用标记。 我们继续翻译剩下的段落,但原文本在"intense"后似乎被截断。我们就按此翻译。# 基于LLM的文学翻译中的情感轮廓:机器翻译与译后编辑中的系统性偏移 来源:https://arxiv.org/html/2606.10113 \\ltx@ifpackageloaded pdflscape Antonio Castaldo¹,², Johanna Monti¹, Sheila Castilho³ ¹那不勒斯“东方”大学²比萨大学³都柏林城市大学 antonio\.castaldo@phd\.unipi\.it, jmonti@unior\.it, sheila\.castilho@adaptcentre\.ie ###### 摘要 本文探讨了LLM翻译是否表现出可识别的情感轮廓,以及译后编辑如何将其重塑,使之更接近人类翻译的规范。我们以玛格丽特·阿特伍德的《羚羊与秧鸡》为例,比较了LLM翻译、译后编辑版本及人工翻译,并以一个大型当代意大利语科幻小说语料库作为基线。我们通过基于情感词典和多语言建模的方法,对系统间的情感变化进行了细粒度分析,发现机器翻译系统在翻译过程中引入了特定模型且具有统计显著性的情感指纹,从而导致作者声音的保留程度有限。 ## 1 引言 大型语言模型(LLMs)已迅速成为机器翻译(MT)的主流方法,尤其是在文学翻译领域,其范围超越了单纯的意义传递,涵盖了作者声音、风格及美学意图的保留[24 (https://arxiv.org/html/2606.10113#bib.bib60)]。 近年来关于LLMs的研究表明,它们在处理比喻性语言[6 (https://arxiv.org/html/2606.10113#bib.bib727),17 (https://arxiv.org/html/2606.10113#bib.bib879)]及上下文相关问题[7 (https://arxiv.org/html/2606.10113#bib.bib648)]方面取得了显著进步。这些进步使得LLMs在文学翻译(这类特征至关重要)领域前景广阔。然而,尽管有这些改进,它们在多大程度上能够保留作者声音仍有待探索。考虑到译后编辑(PE)时,这一差距变得更加重要。虽然通常认为PE能使MT输出在质量上更接近人工翻译(HT),但目前尚不清楚PE在多大程度上保留了源文本中的作者声音,或者是否受到MT系统引入的文体干扰的影响。 在本研究中,我们通过情感轮廓的视角来研究作者声音的呈现方式,探究不同的MT范式是否会引入不同的情感模式,以及这些模式在译后编辑过程中如何转变。因此,作者的情感声音指的是作者在原文中意图表达情感的方式。我们针对加拿大作家玛格丽特·阿特伍德[2 (https://arxiv.org/html/2606.10113#bib.bib617)]的文学作品《羚羊与秧鸡》从英语到意大利语的一套翻译进行了比较研究。我们分析了三个LLM系统的输出、它们的译后编辑版本以及已出版的人工翻译(HT)。 为了补充此分析并评估我们发现的稳健性,我们使用Wattpad上的一个大型当代意大利语科幻小说语料库。从这个语料库中,我们采样了100万个词元,并使用一个LLM(TowerPlus-2B)和一个NMT系统(NLLB-200-600M)生成了平行翻译。这个大设置使我们能够超越个别示例,检验情感变化中具有统计显著性的模式。使用基于词典和多语言建模的方法,我们考察了源文本与翻译之间的情感变化,即情感化语言表达方式上的差异,发现两个系统都引入了系统性的、具有统计显著性的情感属性变化。 我们的发现强调,MT系统表现出独特的情感指纹,反映在情感内容在整个文本中的分布、增强或减弱方面的系统性差异。译后编辑在恢复作者声音方面的效果似乎受到底层MT模型质量的强烈限制。我们进一步发现这些情感指纹具有统计显著性,并且特别集中在情感显著的高峰处,在这些地方,作者的情感声音最应被忠实保留。 ## 2 相关工作 在翻译研究领域,大量学术文献关注翻译文本是否表现出与自然产生的人类写作显著不同的统计特征[10 (https://arxiv.org/html/2606.10113#bib.bib57),23 (https://arxiv.org/html/2606.10113#bib.bib58),11 (https://arxiv.org/html/2606.10113#bib.bib59)]。基于语料库语言学的研究方法植根于Baker[3 (https://arxiv.org/html/2606.10113#bib.bib61)]的开创性工作,他引入了“翻译共性”的概念。根据作者的说法,翻译共性是指无论源语和目标语如何,翻译文本中普遍存在的语言特征假说,这种现象通常被称为“翻译腔”。这些发现为翻译文本的文体计量分析奠定了方法论基础,从而引出假说:如果人工译者留下可识别的指纹,那么MT系统也应该会留下指纹,而且可能以更系统的方式。 为此,后续研究证实了这一假说,发现MT系统显示出翻译腔的痕迹[4 (https://arxiv.org/html/2606.10113#bib.bib56)]。关于NMT,Vanmassenhove等人[22 (https://arxiv.org/html/2606.10113#bib.bib46)]特别记录了多个语言对中NMT输出词汇多样性的损失,这可能代表了一种普遍的指纹。这得到了后续研究的证实,作者们指出NMT系统倾向于加剧常见模式[21 (https://arxiv.org/html/2606.10113#bib.bib55)]。尽管该领域的文献日益增多,但译后编辑对LLM输出的文体效果尚不明确。 关于译后编辑的研究通常集中在NMT系统上,其中“译后编辑腔”概念被引入,作为一种表征译后编辑翻译的独特语域,既不同于MT输出,也不同于人工翻译。研究发现,译后编辑会引入中间文体计量轮廓和文体规范化[20 (https://arxiv.org/html/2606.10113#bib.bib49)]。基于Baker理论的更近期工作揭示了文学文本NMT输出中译后编辑腔的证据,发现在文体特征方面,译后编辑的翻译更接近MT输出而非人工翻译[8 (https://arxiv.org/html/2606.10113#bib.bib64)]。 大多数关于翻译腔和译后编辑的研究都集中在表层特征上,如词汇多样性和频率分布。虽然这些度量提供了有价值的见解,但在文学翻译的背景下,它们只提供了风格的部分视角。在文学文本中,作者的声音不仅体现在结构和词汇选择上,还体现在叙事中传达的情感的分布和强度上。在这方面,研究人员已经开发了用于识别和分析文本中情感的资源[12 (https://arxiv.org/html/2606.10113#bib.bib2),15 (https://arxiv.org/html/2606.10113#bib.bib1)],适用于单语和多语设置。基于情感词典的方法已被证明能够产生与机器学习及基于transformer的方法相当的准确性,并且还具有透明性和可解释性的额外优势[19 (https://arxiv.org/html/2606.10113#bib.bib52),14 (https://arxiv.org/html/2606.10113#bib.bib51)]。 在本工作中,我们利用现有资源对MT输出进行基于情感的分析。具体来说,我们对文本的情感轮廓进行建模,并研究其如何通过翻译过程而转变。我们将此分析扩展到译后编辑输出,探讨译后编辑是减轻还是强化了这些情感变化,以及译后编辑腔是否表现出独特的情感指纹。 ## 3 实验设置 我们进行了两个主要实验:一项是受控研究,聚焦于玛格丽特·阿特伍德《羚羊与秧鸡》的文学节选,对此我们拥有专业人工翻译、三个不同LLM生成的翻译以及三个译后编辑的MT输出,如第3.1节所述。在这个语料库上,我们依赖意大利语情感词典[15 (https://arxiv.org/html/2606.10113#bib.bib1)]来比较各翻译版本的情感密度和强度。通过这个实验,我们旨在探究MT系统在保留、放大或减弱文本情感声音方面是否引入特定模型的行为,以及译后编辑如何影响这些方面。 第二个研究是对一个自然发生的文学文本语料库进行大规模分析,该语料库来自一个名为Wattpad的同人小说平台。从Wattpad上,我们爬取了一千个故事,总计2500万个词元。这些故事来自相关的科幻类别,且均在最近五年内发表。对于第二个实验,我们采用了一种更具可扩展性的方法,使用其多语言版本的NRC情感词典[12 (https://arxiv.org/html/2606.10113#bib.bib2)]。 ### 3.1 数据收集 本研究中分析的翻译来自之前的一项研究,在该研究中,玛格丽特·阿特伍德《羚羊与秧鸡》的121个片段被使用不同的MT系统翻译,随后由专业文学翻译者进行译后编辑[5 (https://arxiv.org/html/2606.10113#bib.bib36)]。我们选择《羚羊与秧鸡》是因为这部小说包含风格丰富的段落、比喻性语言和新词,使其特别适合研究情感变化。这些特征允许不同翻译版本之间出现不同的译法和创造性偏离。该语料库的多样化组成,包含了不同最先进MT系统的专业翻译和译后编辑版本,使其成为我们研究的理想资源。关于翻译和译后编辑流程的完整细节,请参考该工作。 为了实证验证我们的情感分析,我们编制了一个大型当代意大利语科幻小说参考语料库。该语料库通过使用Python库Scrapy¹爬取主要用户生成小说平台Wattpad构建而成。我们从平台分类系统标识为科幻类型的1000个故事中收集了所有可用章节。使用langdetect²进行语言识别,仅保留被分类为意大利语的文本,最终得到约2500万个词元的语料库。 Wattpad语料库使我们能够评估在MT、LLM、PE和HT输出中观察到的情感轮廓是否反映了模型的系统性倾向。通过将这些输出与自然发生的意大利语科幻散文的广泛样本进行比较,我们可以更可靠地识别哪些情感变化是由不同翻译过程一致引入、放大或抑制的。 ### 3.2 词汇资源 如前所述,本研究主要使用两个词汇资源:意大利语情感词典[15 (https://arxiv.org/html/2606.10113#bib.bib1)]和NRC情感词典[12 (https://arxiv.org/html/2606.10113#bib.bib2)]。这两个资源都采用基于Plutchik[16 (https://arxiv.org/html/2606.10113#bib.bib50)]模型的八种基本情感,但在构成方式及暴露的数据上有所不同。 #### 意大利语情感词典。 意大利语情感词典是根据来自意大利语母语者的在线调查数据构建的,参与者被要求为每种情感产生五个单词。然后使用这个种子词列表来填充词典。该词典提供了与八种情感中每一种相关联的单词列表,并带有词性标注和频率数据。有趣的是,它还暴露了情感质心以及每个词汇项到质心的余弦相似度。 #### NRC情感词典。 NRC情感词典则是通过众包为英语构建的,其中标注者将预定义的单词与情感关联起来。NRC情感词典暴露了一个单词列表,每个单词与每种情感有二元关联。除了情感,每个单词还标注了极性(正面、负面)。在后续版本中,它也被改编用于多语言任务,支持包括意大利语在内的超过108种语言。 ## 4 结果 在本节中,我们探究不同的翻译版本(HT、LLM和PE)是否表现出不同的情感轮廓,以及这些轮廓在多大程度上趋近于HT。我们关注两个主要维度:文本中情感相关词元相对于实词的数量,以及单词与词典中情感类别的关联强度。 为此,我们首先检查情感词典中匹配到的词元数量相对于总单词数的比例。这提供了情感词汇项目使用频率的指示。 表1:按翻译版本划分的,来自情感词典匹配到的情感相关词元及单词计数。表1提供了各系统情感相关词元原始计数的概览。如果MT系统保留了源文本的情感轮廓,我们会期望它们的值与人工翻译一致。相反,系统性偏差可能表明特定模型的倾向。 如表1所示,MT输出在情感词典的词汇对齐程度上有所不同。特别是,一些系统产生了较少匹配到的词元,表明倾向于低代表性情感相关词汇,而另一些系统则接近HT中观察到的水平。译后编辑版本通常增加了匹配到的词元数量,表明人工干预倾向于重新引入或加强与HT一致的情感词汇选择。情感词典保留的缺乏可能归因于翻译中的准确性错误或幻觉输出。我们使用翻译质量度量³和HT作为参考,验证了不同MT版本之间的对齐程度。我们在表2中提供了按系统和翻译版本划分的质量度量结果。 表2:各MT输出及其译后编辑(PE)版本的自动评估分数。我们从表2观察到,整体上MT系统在所有度量上达到了可比较的质量,并且即使获得高分的系统在情感词典方面与HT也存在偏差。唯一可观察到的例外是Mistral,它是性能最差的系统,并且在匹配词元方面也显示出最大的差异,如表1所示。 ### 4.1 情感分析 为了更细粒度地探究情感如何分布以及其表达强度,我们通过计算情感密度和强度来补充分析。虽然这两个度量确实相关,但它们衡量不同的现象。密度捕捉了实词中情感词典匹配的比例,而强度则衡量……
相似文章
表达社会情感:大语言模型与人类文化情感规范的错位
本研究论文考察了大语言模型表达社会情感的方式与人类文化规范的匹配度,发现两者存在系统性错位。与人类回应相比,大语言模型在不同文化身份(欧美裔美国人与拉美裔美国人)下表现出的参与型与抽离型情感表达模式不一致。
超越提示词:基于大语言模型的机器翻译评估器的系统性研究
一项关于基于大语言模型的机器翻译评估器设计的系统研究,涵盖指令结构、少样本示例、骨干模型选择和多步骤工作流,并推出了 Orbit——一系列基于大语言模型的机器翻译评估器,能够以约为人工标注二十分之一的成本,在错误片段检测和排序方面达到专家水平。
情绪会影响大语言模型的道德判断吗?
辛辛那提大学的研究人员发现,在提示中加入积极或消极情绪可在约20%的情况下翻转LLM对道德可接受性的判断,揭示出模型与人类在情绪驱动对齐上的差距。
自我评价之言:大语言模型在机器翻译中的口头化置信度研究
本文研究了从大语言模型中提取机器翻译输出置信度的口头化方法,并将其与内部token概率进行了比较。研究发现,尽管两种方法在错误检测和校准方面表现相似,但内部置信度与口头化置信度之间几乎没有相关性。
也门语境下后编辑对AI生成翻译的影响:ChatGPT翻译文学散文
这项发表于arXiv的学术研究考察了ChatGPT-4在阿英文学散文互译中的表现,研究涵盖30名专业译者对AI生成译文的评估与后编辑工作。研究发现,尽管AI显著提升了翻译速度,但在处理文化内涵、文体特征与修辞表达方面,人工后编辑依然不可或缺。研究倡导采用“人机协作”模式,而非追求全自动化。