即使认识86%的单词,你也可能只能理解一部动漫中38%的台词

Hacker News Top 论文

摘要

一项对八部动画的分析发现,词汇覆盖率与实际台词理解率之间存在很大差距:掌握500个常用词可达到约86%的词汇覆盖率,却只能完全理解约38%的台词,因为要理解一整句台词,就需要认识这句平均约7个词的台词中的每一个词。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/31 21:21

掌握了86%的单词,你可能仍然只能看懂一部动漫38%的台词

来源:https://learnfromx.com/research/anime-word-coverage-vs-lines-understood 覆盖率告诉你,你认识的词占全部台词用词的百分之多少,而不是你能看懂多少句台词。数据来自《葬送的芙莉莲》和另外七部动漫。

假设你想看《葬送的芙莉莲》,于是学会了剧中最常见的500个词。覆盖率计算器显示,你现在认识了台词中85.9%的词。

你泡好茶,按下播放键。下面是你听到的三句台词:

目立たず生きろ不要引人注目地活着。

いい眺めだね景色真不错啊。

シッ静かにして嘘\!安静点。

模糊显示的词不在最常见的500个词之内。将鼠标悬停在上面或点击即可显示。

当你第三次暂停查词时,茶已经凉了。掌握这500个词后,在前3,000句台词中,有1,151句的每个词你都认识,占38.4%。其余1,849句,每句都至少含有一个你不认识的词。

两个数字都没错

大多数学习网站引用的数字是覆盖率。它表示你认识的词占全部台词用词的百分比,因此,一个助词出现一千次,就会计入一千次。《葬送的芙莉莲》词频表中排名最前面的都是の\(的\)和は\(主题标记\)之类的语法词,所以仅前100个词就能带来68.3%的覆盖率。但你只能看懂8.5%的台词。

三个数字描述的是同样的500个词:

衡量指标《葬送的芙莉莲》,前3,000句台词认识的词2,448个不同词中的500个\(20.4%\)覆盖率,包含重复出现的词85.9%看懂的台词,每个词都认识38.4% manga-kotoba就是这样构建覆盖率表的。jpdb和jiten也会显示覆盖率,不过它们的帮助页面没有给出确切公式。

覆盖率与看懂台词比例之间的差距,来自台词的长度。《葬送的芙莉莲》的一句台词平均有7个词。你需要认识这7个词,才能看懂整句。在85.9%的覆盖率下,你认识一句台词中所有词的概率约为35%。也就是将0.859连乘七次。这与我们测得的38.4%很接近。

用你喜欢的动漫试试

粗线:所选动漫中看懂的台词比例。虚线:该动漫的词汇覆盖率。浅色线:另外七部动漫中看懂的台词比例。对于每条曲线,我们都假设你优先学习该动漫最常见的词。

八部动漫都存在这种差距。《玲音》达到95%覆盖率所需的词最少,为1,191个。即便如此,你仍然只能看懂77.5%的台词。

有些动漫所需的词汇量远少于其他动漫

在这八部动漫中,《玲音》需要的词最少:约400个词就能让你看懂一半台词。《咒术回战》则需要980个。

动漫台词数集数不同词数掌握500词时的覆盖率掌握500词时看懂的台词比例看懂一半台词所需的词数玲音2,034131,92488.0%55.9%401多罗罗3,000132,43185.2%42.1%633电锯人2,849122,20386.3%41.1%647葬送的芙莉莲3,000122,44885.9%38.4%730灵能百分百3,00082,79582.4%39.1%749死亡笔记3,000112,52986.6%36.0%782全职猎人\(2011\)3,000122,78582.3%34.6%862咒术回战3,000103,02881.5%32.7%980 我们将每部动漫的台词数上限设为3,000句,避免长篇动漫仅仅因为集数更多就显得更难。如果一部动漫在后期变难,这里的结果就会让它显得比实际更容易。

很多看不懂的台词,其实只差一个词

再来看《葬送的芙莉莲》。你有1,849句台词看不懂。其中1,042句只差一个词,占56.4%。在所有动漫中,这一比例介于50.2%到63.9%之间。

こちらは約束の報酬です这是我们约定好的报酬。

从500词增加到1,000词带来的帮助,远比覆盖率所显示的更大。覆盖率只增加了6.5个百分点,因为这些新词出现得并不频繁。但看懂的台词比例增加了22.1个百分点,因为一个新词往往正是你看懂整句台词所缺的最后一个词。

你无法只学少量几个词就填上这些只差一词的空缺。这1,042句台词总共缺少804个不同的词。一个词最多能帮你多看懂4句,比如後悔\(后悔\)、約束\(约定\)和収集\(收集\)。

2,000个常用日语词,最多只能让你看懂38%的台词

作为粗略比较,我们尝试了wordfreq词表中通用日语最常见的2,000个词。这些词能让你看懂23.4%到37.6%的台词。随后,我们尝试了各部动漫自身最常见的2,000个词,结果能看懂74.3%到93.3%的台词。《玲音》的不同词总数不足2,000个,因此未纳入第二个范围。

一部动漫的高频词可能很特别。《葬送的芙莉莲》词表中排名第304的是生臭坊主,指不守戒律的僧侣,角色们经常这样称呼海塔。排名第21的是魔法\(魔法\),比私\(我\)还高四位。

前期剧集的词表,到后期仍能发挥三分之二的作用

假设你学会了一部动漫某一季的高频词,然后继续看下一季。我们在四部台词数量足够的动漫上做了类似测试。我们用前3,000句台词构建词表,再用接下来的3,000句进行测试。在《葬送的芙莉莲》接下来的3,000句台词中,旧词表能让你看懂22.3%,而根据这部分台词本身构建的词表能让你看懂33.0%。試験\(考试\)一词在前面的台词中只出现一次,之后却出现了51次,因为角色们后来参加了魔法使考试。在这些动漫中,降幅介于5.5到14.0个百分点之间。

一词多义会让这些数字偏高

很多词有多个意思,语言学家将其称为多义性。无论一句台词使用了哪个意思,我们都将这个词计为已知词。掌握500个词时,《葬送的芙莉莲》的这两句台词都会被计为看懂:手が震えています\(我的手在发抖\)和手に取るように分かる\(我对此了如指掌\)。你可能完全明白第一句中手\(手\)的意思,却仍然看不懂第二句。逐字翻译,第二句的意思是“就像拿在手里一样清楚”。我们没有统计多少句台词存在这个问题。仅这一点就足以说明,看懂台词比例的数字偏高。

我们是怎么做的

操作步骤

  1. 清理字幕,删除歌曲、格式标签、括号内的所有内容和音符。将文本拆分为句子长度的台词行。删除重复台词。
  2. 使用免费的日语分词器Sudachi,将每句台词拆分为词。我们使用SudachiPy 0.6.11和SudachiDict-core 20260428,采用C分词模式。Python版本为3.13.7。使用每个词的词典形,因此行った\(去了\)和行く\(去\)算作同一个词。
  3. 跳过标点、数字,以及所有被Sudachi标记为专有名词的内容。
  4. 跳过シッ\(嘘\)和ハハッ\(哈哈\)之类的填充语。只有当Sudachi将某个声音标记为感叹词、副词或名词时,它才算填充语。语法词尾ん的标签不同,我们仍将其计入。助词和うん\(嗯\)之类的日常应答也仍然算作词。
  5. 删除没有剩余词的台词,按集数排序,保留前3,000句。
  6. 统计每个词出现的次数,然后按频率排名。频次相同时按字母顺序排列。
  7. 将排名前N的词视为已知词。覆盖率等于已知词的出现次数除以所有词的出现次数。看懂的台词比例,是每个词都已知的台词所占的百分比。

用29行Python实现整个过程

``

pip install sudachipy sudachidict_core

lines.txt:每行一句字幕,按集数排列,已删除歌曲和重复台词

fillers.txt:自行整理的不计入统计的声音列表,每行一个

from collections import Counter from sudachipy import Dictionary, SplitMode import re

tok = Dictionary().create() fillers = set(open(“fillers.txt”, encoding=“utf-8”).read().split())

def words(line): out = [] for m in tok.tokenize(line, SplitMode.C): pos = m.part_of_speech() if pos[0] in (“補助記号”, “空白”, “記号”): continue # 标点 if pos[1] in (“固有名詞”, “数詞”): continue # 专有名词、数字 if not re.search(r“[0-9A-Za-zぁ-コト一-鿿々]“, m.surface()): continue if m.surface() in fillers and pos[0] in (“感動詞”, “副詞”, “名詞”): continue out.append(m.dictionary_form()) return out

lines = [words(l.strip()) for l in open(“lines.txt”, encoding=“utf-8”)] lines = [l for l in lines if l][:3000] # 前3,000句包含实际词语的台词 count = Counter(w for line in lines for w in line) known = {w for w, _ in sorted(count.items(), key=lambda x: (-x[1], x[0]))[:500]}

coverage = sum(n for w, n in count.items() if w in known) / sum(count.values()) understood = sum(all(w in known for w in line) for line in lines) / len(lines) print(f“覆盖率:{coverage:.1%} 看懂的台词比例:{understood:.1%}“) ``

用我们的《葬送的芙莉莲》台词运行这段代码,会输出85.9%和38.4%。我们不保存未经处理的字幕文件。使用你自己的字幕和填充语列表,结果会略有不同。

全部数据

每个单元格依次显示:掌握相应数量的词时,覆盖率和看懂的台词比例。

动漫100词250词500词1,000词2,000词玲音70.8% / 20.2%81.4% / 38.8%88.0% / 55.9%93.7% / 73.0%不适用多罗罗64.5% / 10.1%76.6% / 24.6%85.2% / 42.1%92.0% / 63.1%97.8% / 87.6%电锯人66.0% / 9.4%78.4% / 23.8%86.3% / 41.1%93.2% / 65.3%98.9% / 93.3%葬送的芙莉莲68.3% / 8.5%78.7% / 22.5%85.9% / 38.4%92.4% / 60.5%98.0% / 86.9%灵能百分百64.7% / 11.3%75.1% / 25.4%82.4% / 39.1%89.5% / 58.0%95.8% / 79.5%死亡笔记67.3% / 6.9%78.9% / 18.0%86.6% / 36.0%93.0% / 59.1%98.0% / 84.6%全职猎人\(2011\)63.0% / 9.0%74.0% / 20.9%82.3% / 34.6%89.9% / 55.1%96.3% / 79.6%咒术回战63.7% / 9.5%74.3% / 20.7%81.5% / 32.7%88.4% / 50.5%94.8% / 74.3% 看懂给定比例的台词所需掌握的词数:

动漫25%的台词50%75%90%玲音1304011,0821,686多罗罗2546331,4292,101电锯人2636471,3131,893葬送的芙莉莲2837301,4912,111灵能百分百2417491,7752,458死亡笔记3457821,5452,200全职猎人\(2011\)3208621,7682,446咒术回战3289802,0322,695

哪些因素可能让结果失准

  • “看懂”意味着你认识每个词。它没有考虑语法、汉字读音、语速和上下文。
  • 我们假设你掌握的恰好是该动漫最常见的词,而且一个也没忘。如果你学的是其他词,或忘了一些词,这些数字就会更低。你还需要在观看前就拿到该动漫的词表。
  • 每句不同的台词只计一次。观看动漫时,你会反复听到うん\(嗯\)之类的固定台词,这很可能提高看懂的台词比例。我们没有测量这一点。
  • 台词来自各部动漫最前面的剧集,没有跳过任何一集。《电锯人》和《玲音》的台词不足3,000句,所以我们使用了它们的全部台词。台词越少,得分越高。掌握500词时,将其他动漫的台词数截到与《玲音》相同的长度,得分最多会提高4.8个百分点。《玲音》的字幕质量较低,因此其数据的可靠性也较低。
  • 有些字幕文件会用略有不同的措辞重复同一句台词,而我们只删除了完全相同的重复项。如果连近似重复项也删除,掌握500词时看懂的台词比例最多会变化2.2个百分点。
  • 判断什么算填充语,需要主观取舍。如果将填充语也算作词,掌握500词时看懂的台词比例最多相差2.7个百分点。变化可能向上,也可能向下,因为纳入统计的台词会随之改变。
  • 按实际听到的词形计数,即将行った和行く分开计算,会使掌握500词时看懂的台词比例降低5.3到7.7个百分点。
  • 一个词无论有多少个意思,都只算一个,这会让覆盖率和看懂的台词比例都偏高。我们没有统计每句台词使用的是哪个意思。作为部分检验,我们将Sudachi给出的不同词性分别计为不同词,这使掌握500词时看懂的台词比例降低了1.2到2.5个百分点。这项检验只能捕捉名词与动词之类的差异。
  • Sudachi会出错。它有时会把一个词切成片段。它还会将某些名字当作普通词:フリーレン\(芙莉莲\)在她自己的词表中排名第31。将所有Sudachi无法识别的词视为已知词,掌握500词时最多会增加0.6个百分点。

learnfromx (https://learnfromx.com/)是一款通过动漫教授日语的闪卡应用。每张卡片都使用一句除了一个新词之外,其余词你都认识的台词,这也是我们开始统计台词的原因。上述数据将每个词只计为一个词,无论它有多少个意思。但应用中不能这样处理:知道あれ表示“那个”,并不能帮助你理解别人说的あれ? \(咦?\)。它们对应两张不同的卡片。目前应用还不能识别所有这类词,我们正在改进。在抢先体验期间,它提供一部动漫:《全职猎人》。

相似文章

为什么人工智能生成的语言如此难以理解?

arXiv cs.CL

得克萨斯大学奥斯汀分校的一项研究发现,与人类写作相比,九个前沿大语言模型生成的文本都过度使用了从心理语言学角度看较难处理的特征(名词堆叠、长距离依存关系、低频 n 元语法),并据此推测,针对数学、代码和推理的后训练更偏重信息密度,而非表达的清晰度。

AI似乎更擅长理解语言,而非理解沟通

Reddit r/artificial

作者认为,当前的人工智能在处理转录文字方面表现出色,但却忽略了犹豫和语调等非语言线索,凸显了理解语言与理解人类沟通之间的差距。

通过语言提升理解力

MIT News — Artificial Intelligence

本文介绍了麻省理工学院大四学生奥利维亚·哈尼卡特(Olivia Honeycutt),重点展示了她在语言学、计算和认知科学交叉领域的跨学科研究,尤其关注人类语言处理与大语言模型的比较。

人们能在75%的情况下检测出AI生成的文本

Reddit r/artificial

UnslopAI的一项测试显示,读者能在75%的情况下识别出AI生成的文本,这凸显了让AI写作听起来更人性化、以避免搜索引擎惩罚并保持真实性的必要性。