幽默竞技场：哪个大语言模型最有趣？
摘要
本文介绍了使用一个微调过的评判器对20个大语言模型版本在幽默生成方面的比较，其中Fable 5在笑话基准测试中得分最高。
我们在360个固定的笑话提示上比较了20个模型版本，每个提示请求四个笑话，并且模型名称对我们幽默训练的评判器隐藏。Fable 5的预估得分最高：每100次比较得66.8分，对比赛道。Fable 5.1得分为58.2。得分规则是赢一次计1分，平局计0.5分。排名靠前的模型具有重叠的不确定性区间。我们之所以说预估，是因为我们根据分数进行缩放，分数来自我们自己的自动化评判器。一个独立的审计使用50人的1400个评分检查了评判器；这不是对Fable 5.1输出的新鲜人类评估。我们专门微调了一个OS评判器来评价笑话，它比任何其他模型都更高度地与人类偏好相关。完整详情请见：https://laugh.so/research/joke-generation/ 希望听到您的反馈！
相似文章
HumorRank：基于锦标赛的排行榜，用于评估大语言模型的幽默生成能力
HumorRank 通过成对比较和 Bradley-Terry 最大似然估计，构建锦标赛式排行榜，对 LLM 的幽默生成进行排名，发现幽默质量取决于喜剧技巧而非模型规模。
我构建了一个基准测试，用于测试LLMs是否能够理解并创作笑话
一位开发者构建了一个名为lolbench的基准测试，用于评估LLMs在理解与创作笑话方面的表现，揭示了模型在解释真实笑话时表现强劲，但在解释失败的笑话时表现不佳，并融入了人类投票进行偏好测试。
LLMs的幽默品味是什么？
研究报告揭示，LLMs在幽默品味上共识程度不一，总体偏好荒谬幽默和吐槽笑话格式，Gemini则是最一致的评判者。
后训练是否让LLM更有趣？
本研究探讨后训练是否让LLM更有趣，发现它在多个模型和训练阶段中提升了幽默感，但降低了响应多样性。
多模态大语言模型的计算幽默：方法、数据集、评估与挑战
本综述探讨了多模态大语言模型中的计算幽默理解，涵盖了方法、数据集、评估协议以及诸如易受捷径影响的评估和证据基础薄弱等挑战。