pragmatics

本文分析了过去两年中针对ChatGPT的提示词，发现提示逐渐转向间接和隐含指令，礼貌性减弱，表明用户正在适应LLMs的推理能力。

本文评估了LLM的礼貌判断与人类语用规范的对比，发现模型间一致性超过了模型-人类对齐，并揭示了如过度产生中立标签等系统性偏差。

本文提出了一种方法，通过利用听者注视数据进行训练，增强视觉-语言模型中的指称表达生成，从而实现更高效和成功的交流。

本文介绍了VakyArth，这是首个针对印度语言的语用基准，评估LLMs在印地语、旁遮普语、泰米尔语和马拉雅拉姆语中的文化和上下文推理能力。研究发现模型在语用意义方面存在持续性失败，且在不同语言和任务间存在系统性差异。

本文通过探究文化和语用推理，研究小型日英双语语言模型中的跨语言对齐，引入J-PragEval-v0基准，并提出用于推理时干预的Pragmatic Representation Steering方法。

本文提出了一个跨学科分类和建模框架，用于理解、放大和检测误解，连接了语用学和AI代理系统。

本文评估了大语言模型识别未言明信念（隐含意义）以及通过隐含意义取消来理解信念更新的能力，并引入了专家标注的ImplicatureX数据集。结果表明，大语言模型在自然场景中尤其落后于人类。

提出SAGE，一种结合语言模型与认知模型的神经符号框架，用于语用推理，并通过包括指称表达生成和含意在内的三个案例研究进行验证。

本文提出一个“Genie系数”来衡量AI代理理解用户意图的程度，认为当前的基准测试未能捕捉用户所说与所想之间的差距。

本文研究了语言模型尽管具有稳健的内部表征，但在行动上却未能体现交际意图的问题。通过线性探针，作者发现意图可以从隐藏状态中解码，但通常不反映在输出中，而引导一个较后层的方向可以恢复预期的行为。

本文提出人口统计条件融合嵌入，用于建模语言中的视角主义社会意义，通过将注释者人口统计信息整合到NLP系统中，展现出相对于纯文本基线的持续改进。

介绍KARMA，一个在Reddit对话上训练奖励模型的框架，通过强化学习提升大语言模型的上下文敏感对话行为。研究发现，预测Karma的最佳奖励模型并不能带来最佳的下游对齐效果。

介绍DRInQ，一个用于评估疑问话语中会话含义的基准，揭示了LLMs尽管能够生成合理的语用场景，但在推理时往往无法恢复预期的含义。