标签
这篇论文通过在他加禄语上的受控实验(将MorphAustro-Tok与BPE及打乱形态素的对照组进行比较),发现形态感知分词确实能提升机器翻译效果,但形态正确性本身并不带来收益——增益仅来自分词粒度与一致性,而非语言学上正确的切分。
乔治城大学的语言学研究人员提出了 PropAlign,一种基于多篇摘要的命题显著性分级评估方法,并发布了 PropAlignBank 数据集,其中包含超过 3.5 万个命题的 13.8 万条对齐关系。他们的研究表明,从摘要中推导出的显著性指标比模型直接作出的判断更具一致性,而融合语言学特征的模型集成方法能够接近人工标注的质量。
该论文利用 Pythia 和 OLMo 等开源模型的中间检查点,系统研究了大语言模型在训练过程中形态结构、嵌入漂移、重复主导与共现效应的演化规律,发现模型在语义嵌入稳定之前就已习得形态结构,且训练数据规模有助于发散识别,而共现和重复则有负面影响。
该论文提出使用短音符(caron)和抑扬符(circumflex)这两个附加符号,在单个音节中标记Yorùbá语的曲折声调(升调和降调),以解决正字法错误导致姓名含义颠倒的问题,并介绍了在WriteYoruba键盘和TTSYoruba语音合成器中的实现方案。
本文诊断了日语过去时动词屈折的神经形态生成中的系统性错误,聚焦于一个导致不成比例错误的罕见不规则子类型。消融实验表明,移除该子类型比移除所有不规则动词更能提高准确率,强调了细粒度子类分析的重要性。
本研究探讨了大型语言模型在不同场景下生成与检测虚假新闻的表现差异,并发现经过精细优化的提示词并不总能提升检测效果。
这篇博客文章分析了英语中基于语音使用'a'和'an'的规则,数据显示在32,455个单词中只有129个需要例外处理,并讨论了其在过程化文本生成代码中的应用。
一篇新的预印本显示,许多神经语言模型在语法性上表现出抽象表征分离,解决了关于测量模型语法知识时混杂因素的争论。
本研究使用词嵌入来分析中文普通话中的重叠结构,揭示了语义和语用分化,并验证了分布语义学在语言研究中的有效性。
本文提出了一种基于语言生产认知模型的无数据通用句法结构先验,证明其在138种语言中为已验证的树分配更高的概率,并与特定语言数据相关。
本研究考察了卢森堡语和法语双语政治演讲中的魅力韵律,发现说话者身份解释了大部分差异,而语言在声学特征上显示出系统性差异。
本研究调查了双语政治演讲中的时间组织,发现辅音为基础的时间度量是说话者特异性的,而元音为基础的度量是语言依赖性的,其中法语表现出更长且更多变的元音。
本文介绍了NegCue,一个大规模否定数据集,并展示了在语言模型中,使用附缀式否定进行预训练相比单词否定能带来更好的否定理解提升。
本文提出利用从大型语言模型派生的语义不确定性来预测口语对话中话轮转换的相关位置,在对话系统中展示了优于基线的性能。
这条推文反思了一次关于语言学与自然语言处理、Bitter Lesson以及Transformer架构演变的有收获的对话,并链接到一期关于AI tokenomics的播客节目。
本文将语言模型视为语言产物,使用意大利模型来探究其训练过程,并质疑其对语言的表征。文章主张在自然语言处理中区分技术产品和研究工具。
本文讨论了将大型语言模型与大脑功能对齐如何不充分决定神经计算,强调了在建模认知方面的局限性。
本文通过控制实验解耦了语言模型在避免过度泛化中的统计先占与固化,发现语言模型表现出抽象先占而非特定动词的先占,这对人类语言学习有启示意义。