标签
这篇论文审计了三类非生成式决策模型(编码器打分器、解码器打分器和闭源 API)在孟加拉语习语上的表现,发现当选项列表中包含字面释义时,模型会强烈偏向字面含义,且这种"字面吸引"在孟加拉语测试中比英语高 1.9 到 6.4 倍,同时校准性全面下降。
本文介绍了VIVID,这是首个系统评估越南语中植根于文化的比喻语言理解的基准,包含1,636条习语和谚语。对八个最先进模型的评估揭示了显著差距:越南语专用模型的表现远逊于多语言系统,即使顶尖模型平均正确率也不到50%。
本文提出了一种可解释的基于网络的框架,使用二进制概念特征表示八种语言的习语表达。社区检测显示,习语按概念图式而非语言聚类,该框架在习语检测和跨语言迁移方面优于基于嵌入的基线方法。
介绍了IdioLink,一个包含10,700篇文档和2,140个查询的检索基准,覆盖107个习语,测试模型是否能够将习语表达与概念上等价的字面或释义含义联系起来。评估显示,当前的嵌入模型在此任务上表现不佳,突显了习语感知语义检索方面的空白。