标签
本文介绍TatBLiMP,这是第一个针对鞑靼语的语言最小配对基准测试,评估16种形态句法现象,涵盖从原生鞑靼语模型到前沿多语言大语言模型。
本文以基于最小对立的诊断框架,研究机器翻译的自动评估指标是否适用于文言文到英语的翻译。结果发现所有指标都存在盲点,其中 MetricX24 整体表现最佳。
本文研究大语言模型是否具有处理生命性概念的局部因果机制,通过在最小对上进行电路发现;他们发现了一个分布式的且仅部分泛化的生命性电路。
介绍ALEE,一个使用抽象意义表示生成具有受控语义偏移的英语极小对的框架,并将其翻译用于评估275+种语言的文本嵌入,揭示了跨语言语义表示中持续存在的差距。