论文页面 - 最终翻译基准测试

来源：https://huggingface.co/papers/2609.04173 作者： , , , , , , , , , , , , , , , , , , , ,

摘要

最终翻译基准测试（Last Translation Benchmark）引入了经过同行评审的多模态样本，这些样本能突破现有领先翻译模型的能力边界，并配以手工制定的验证规则，以实现可靠、可操作的评估。

为推动科学进步，我们需要能够测试前沿模型极限的基准测试，以及能为我们提供失败案例信息的评估方法。随着模型能力增强，标准的机器翻译基准测试已接近饱和。此外，自动翻译指标存在可靠性问题，易受奖励欺骗影响，且提供的评估结果缺乏可操作性。即使是公认的黄金人类评估方法也非完美，因其常缺乏可复现性、客观性和可扩展性。这些问题总体上阻碍了我们追踪领域内的客观进展并识别改进路径。我们推出了最终翻译基准测试（Last Translation Benchmark），这是一套由人工创作并经同行评审的样本集合（包含文本、图像、音频、视频），这些样本能突破当前领先的机器翻译模型的能力上限。我们同时提出了一种新的评估方法：每个样本都附有手工制定的验证规则，具体描述了该样本上的失败案例，从而实现可靠且可操作的未来评估。最终翻译基准测试（Last Translation Benchmark）是一个持续接受贡献的动态数据集。最新版本为LTBv1，包含2026年9月1日前已接受的贡献，未来版本将随新数据的持续收集而发布。

查看arXiv页面（https://arxiv.org/abs/2609.04173）查看PDF（https://arxiv.org/pdf/2609.04173）项目页面（https://last-translation-benchmark.vilda.net/）GitHub45（https://github.com/zouharvi/last-translation-benchmark）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.04173）

引用本文的模型0

无关联模型

在模型README.md中引用arxiv.org/abs/2609.04173，即可从此页面链接。

引用本文的数据集1

zouhar/last-translation-benchmark 查看器• 约11小时前更新 • 3.46k • 33 • 17 (https://huggingface.co/datasets/zouhar/last-translation-benchmark)

引用本文的空间0

无关联空间

在空间README.md中引用arxiv.org/abs/2609.04173，即可从此页面链接。

包含本文的收藏0

无包含本文的收藏

将本文添加到收藏（https://huggingface.co/new-collection）即可从此页面链接。