标签
Dialpad 研究人员提出了一种社会语言学方法,用于在代理系统评估中构建并衡量用户人格保真度。研究表明,在五个客服代理场景中,与扁平化的描述性基线相比,具体的风格化率值人格能显著提升风格遵循度。
本文通过分析大型语言模型在四种英语方言上的内部概率分布,考察其隐性方言偏见,发现模型将更多负面住房相关形容词与非裔美国人英语和尼日利亚皮钦语相关联,反映了类似于人类歧视的继承偏见。
本研究引入GAPA数据集,以证明外貌描述常携带性别关联,而LLMs与人类评分存在系统性错位,挑战了性别中立沟通的假设。
本文介绍了一个交叉评估框架,用于在阿拉伯文化和社会语言学知识上对LLM进行基准测试,使用人类专家真值和自动评审。作者贡献了一个针对埃及和伊拉克阿拉伯语的提示-评分标准对数据集,评估了前沿LLM,并发现文化推理仍然是自动评分的主要失败模式。
一项论文研究,调查新西兰地理方言在基于地点的社交媒体社区中的对齐情况,通过分析词汇、形态句法和语义特征,探讨Reddit社区如何反映地理方言社区的语言变异模式。