AI翻译文学文本“还行”,但读者依然更偏爱人工翻译

Hugging Face Daily Papers 论文

摘要

一项对比文学作品中人工翻译与AI翻译的研究表明,虽然机器翻译被视为“还行”,但读者仍因其沉浸感和清晰度更偏爱人工翻译。自动指标无法捕捉读者偏好。

文学作品的AI翻译越来越普遍。虽然内容可能被恰当地呈现,但我们对其在沉浸感和文学效果方面的读者体验了解不足——这些方面难以被自动机器翻译指标或针对流畅性和充分性的人工评估所捕捉。我们邀请了15位热衷读者,比较近期出版的人工翻译(HT)与基于大语言模型(LLM)代理式流程生成的机器翻译(MT),涉及15部近期法文、波兰文和日文小说及其英译版本。读者在两种条件下评估了约8000词的摘录:对完整摘录进行沉浸式阅读(30组对比),以及对386组对齐的HT-MT片段对进行细读(772组对比),每本书由两位读者参与,并交替呈现顺序。总体而言,读者认为MT“还行”,但更偏爱HT(在摘录层面略优:19/30;在片段层面更明显:522/772),因其易读性、清晰度和沉浸感。读者标注显示,同一本书内MT的质量波动大于HT。关键在于,读者无法可靠地区分两者(17/30猜对),并且倾向于偏爱他们认为来自人工的版本。自动指标(包括以LLM作为评判者的方法)无法还原读者偏好,反而偏向MT。我们发布了LAIT(文学AI翻译)数据集,这是一个以读者为中心的评估数据集,包含1000条读者评论、2000条判断和偏好评分以及7200条跨度级标注,同时附带了我们的评估协议和支持界面。
查看原文
查看缓存全文

缓存时间: 2026/07/02 11:48

论文页面 - 文学文本的AI翻译“尚可”,但读者仍更偏爱人工翻译

来源:https://huggingface.co/papers/2606.26040

摘要

人类读者更偏爱人工翻译的文学作品而非机器翻译,认为后者沉浸感较弱,且难以与人工翻译区分,尽管机器翻译指标更倾向于自动化版本。

文学作品的AI翻译日益常见。尽管内容可能翻译得当,但我们对读者在沉浸感和文学效果方面的体验了解不足,而这些方面恰恰是自动机器翻译指标或针对流畅度与充分性的人工评价所难以捕捉的。我们邀请了15位重度读者,针对15部近期出版的、原文为法语、波兰语和日语且已译成英文的小说,比较近期出版的人工翻译(HT)与通过基于智能体的大语言模型(LLM)流水线生成的机器翻译(MT)。读者在两种条件下对约8000词的节选进行评估:完整节选的沉浸式阅读(30次比较)和386对HT-MT对齐片段的细读(772次比较),每本书由两位读者以交替呈现顺序进行。总体而言,读者认为MT“尚可”,但更偏爱HT(节选层面19/30略有优势,片段层面522/772优势更明显),因其更易于理解、清晰且具有沉浸感。读者标注显示,MT在同一本书中的质量波动大于HT。关键在于,读者无法可靠地区分两者(17/30猜对),且倾向于相信是人工翻译的版本。包括LLM-as-a-judge方法在内的自动指标未能反映读者偏好,反而倾向于MT。我们发布了LAIT(文学AI翻译)数据集,包含1000条读者评论、2000条判断与偏好评分以及7200个跨度级标注,同时提供我们的评估协议和支持界面。

查看arXiv页面(https://arxiv.org/abs/2606.26040)
查看PDF(https://arxiv.org/pdf/2606.26040)
项目页面(https://lait.cs.sfu.ca/)
GitHub3(https://github.com/Yves575/lait)
添加至收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.26040)

在您的Agent中获取此论文:

hf papers read 2606.26040

没有最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

尚无模型链接此论文

请在模型README.md中引用arxiv.org/abs/2606.26040以从此页面链接。

引用此论文的数据集0

尚无数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2606.26040以从此页面链接。

引用此论文的Spaces0

尚无Space链接此论文

请在Space的README.md中引用arxiv.org/abs/2606.26040以从此页面链接。

包含此论文的收藏集0

尚无收藏集包含此论文

请将此论文添加至收藏集(https://huggingface.co/new-collection)以从此页面链接。

相似文章

也门语境下后编辑对AI生成翻译的影响:ChatGPT翻译文学散文

arXiv cs.CL

这项发表于arXiv的学术研究考察了ChatGPT-4在阿英文学散文互译中的表现,研究涵盖30名专业译者对AI生成译文的评估与后编辑工作。研究发现,尽管AI显著提升了翻译速度,但在处理文化内涵、文体特征与修辞表达方面,人工后编辑依然不可或缺。研究倡导采用“人机协作”模式,而非追求全自动化。

AI似乎更擅长理解语言,而非理解沟通

Reddit r/artificial

作者认为,当前的人工智能在处理转录文字方面表现出色,但却忽略了犹豫和语调等非语言线索,凸显了理解语言与理解人类沟通之间的差距。

AI如何改变语言

Reddit r/artificial

《卫报》文章探讨AI如何改变语言,语言学家和小说家讨论区分人类与机器写作的难度,同时涉及AI在文学中使用的争议。

人类与机器文学翻译中的流畅性与忠实度

arXiv cs.CL

本文利用来自106部小说的130,486个段落,实证研究了文学翻译中流畅性与忠实度之间的权衡,发现人类翻译和Google翻译存在一致的负相关,而TranslateGemma的相关性较弱。

人们能在75%的情况下检测出AI生成的文本

Reddit r/artificial

UnslopAI的一项测试显示,读者能在75%的情况下识别出AI生成的文本,这凸显了让AI写作听起来更人性化、以避免搜索引擎惩罚并保持真实性的必要性。