大型语言模型在理解现代中文诗歌中的诗歌逻辑方面表现如何？

# 大型语言模型在理解中国现代诗歌的诗意逻辑方面表现如何？
来源：https://arxiv.org/html/2608.21827
蓝甜、王珊珊¹¹脚注标记：¹所属机构：澳门大学计算机与信息科学系 NLP2CT 实验室、德日哈多、所属机构：内蒙古大学计算机学院、velikayascarlet@gmail\.com、cssxd@imu\.edu\.cn、李江、所属机构：内蒙古大学计算机学院、velikayascarlet@gmail\.com、cssxd@imu\.edu\.cn、高光来、所属机构：内蒙古大学计算机学院、velikayascarlet@gmail\.com、cssxd@imu\.edu\.cn、Derek F\. Wong、所属机构：澳门大学计算机与信息科学系 NLP2CT 实验室、苏向东、致谢：通讯作者、所属机构：内蒙古大学计算机学院、velikayascarlet@gmail\.com、cssxd@imu\.edu\.cn

###### 摘要
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中取得了显著进展，但它们理解文学文本，特别是中国现代诗歌的能力，在很大程度上仍未被探索。中国现代诗歌独特的文学特性要求一种独特的推理形式才能有效理解。与传达清晰信息的传统文本不同，中国现代诗歌独特的“诗意逻辑”需要一种超越表面语义分析的整体推理方法才能被理解。然而，当前的评估范式在很大程度上忽视了这一关键维度。为填补这一空白，我们提出了Peony，这是首个专门设计用于评估中国现代诗歌诗意逻辑的基准测试。我们将诗意逻辑定义为跨越三个层次（诗节、诗行和意象）的四个任务，并基于Peony系统地评估和分析了六个主流LLMs。我们在非思考和思考两种配置下评估了这些模型。实验结果揭示了当前LLMs在中国现代诗歌诗意逻辑理解方面的局限性，并验证了Peony的有效性和必要性。我们的数据和代码将公开发布。

## 1引言
参见标题图1：我们提出的基准测试的整体结构。大型语言模型（LLMs）在众多自然语言处理（NLP）任务中取得了显著进展，包括阅读理解(40 (https://arxiv.org/html/2608.21827#bib.bib33))、摘要生成(19 (https://arxiv.org/html/2608.21827#bib.bib30);20 (https://arxiv.org/html/2608.21827#bib.bib32))和代码解释(22 (https://arxiv.org/html/2608.21827#bib.bib9))。虽然现有研究主要集中在通用领域语言，如亚文化语言(18 (https://arxiv.org/html/2608.21827#bib.bib35))、社交媒体内容(7 (https://arxiv.org/html/2608.21827#bib.bib34))和编程语言(37 (https://arxiv.org/html/2608.21827#bib.bib31))，但文学文本，尤其是中国现代诗歌，受到的关注相对较少。中国现代诗歌的独特性要求一种独特的推理形式才能有效理解。

诗歌是人类语言最复杂的形态之一。与主要传达明确信息的传统文本不同，诗歌在很大程度上依赖于隐含的联想(21 (https://arxiv.org/html/2608.21827#bib.bib41))、意象(12 (https://arxiv.org/html/2608.21827#bib.bib42);36 (https://arxiv.org/html/2608.21827#bib.bib43))、情感共鸣(11 (https://arxiv.org/html/2608.21827#bib.bib39))和非字面表达(26 (https://arxiv.org/html/2608.21827#bib.bib40))来构建和传达意义。因此，理解诗歌需要的不止是表面的语义分析；它要求基于隐喻联想(13 (https://arxiv.org/html/2608.21827#bib.bib38))、情感递进(39 (https://arxiv.org/html/2608.21827#bib.bib37))和抽象语义(38 (https://arxiv.org/html/2608.21827#bib.bib36))来推断诗行之间隐含的逻辑联系。评估LLMs掌握这种能力的水平，为评估这些模型是否真正具备深刻的语言理解和抽象推理能力提供了一个新的视角。

在众多诗歌体裁中，中国现代诗歌尤为具有挑战性。与通常遵循固定格律结构(42 (https://arxiv.org/html/2608.21827#bib.bib11);3 (https://arxiv.org/html/2608.21827#bib.bib10))的古典诗歌不同，中国现代诗歌采用了更自由的形式，更加强调碎片化的意象、语义的模糊性、情感的过渡和非传统的句法(28 (https://arxiv.org/html/2608.21827#bib.bib44);33 (https://arxiv.org/html/2608.21827#bib.bib12))，这构成了一种有别于传统文本的诗意逻辑。

例如，以《错误》中“那等在季节里的容颜如莲花的开落”这句诗为例，诗人没有明确说明人物关系或时间逻辑；相反，诗人通过并置“季节”和“莲花的开落”这两个意象，含蓄地传达了等待、时光流逝和忧郁等情感转变。同样，《黑夜的献诗》中的“黑夜从大地上升起”这一表达，打破了日常语言中对“夜”与空间动态关系的常规认知。这些根植于隐含意象联想和非传统表达的诗歌特征，要求读者主动综合情感和语义联系，以重构潜在的诗意逻辑，这是理解一首诗整体意义的线索。这种对全局逻辑整合的依赖，对LLMs构成了障碍，因为它们常常难以超越局部语义特征来把握中国现代诗歌的整体结构。

然而，这一关键的“诗意逻辑”在当前的NLP评估范式中在很大程度上被忽视了。目前尚无专门的框架来评估LLMs是否真正理解现代诗歌的底层逻辑结构。这种遗漏使我们无法回答一个根本问题：当前的LLMs是否真正具备理解中国现代诗歌诗意逻辑的能力？

为填补这一空白，我们提出了Peony，一个专门用于中国现代诗歌诗意逻辑推理的基准测试。Peony旨在系统地评估当前LLMs理解中国现代诗歌诗意逻辑的能力。该基准测试包含六位当代诗人的800部高质量作品，涵盖多种主题、长度和写作风格，以确保主题广度和风格多样性。此外，我们将诗意逻辑形式化为跨越三个层次（诗行、诗节和意象）的四个任务。这使我们能够在理解中国现代诗歌的背景下系统地评估LLMs的能力。基于此基准测试，我们在两组模型上对六个主流模型进行了全面的实验和分析。整体结构见图1 (https://arxiv.org/html/2608.21827#S1.F1)。

参见标题图2：按诗节数和行数分类的诗歌分布。我们的主要贡献如下：

- •评估基准我们引入了Peony，这是首个专门设计用于中国现代诗歌诗意逻辑的基准测试。它包含了当代诗人的高质量作品，并涵盖各种主题和风格。
- •综合任务我们建立了首个专门针对中国现代诗歌诗意逻辑的评估基准，包括跨越诗行、诗节和意象的四个任务，以全面评估LLMs在中国现代诗歌诗意逻辑理解方面的性能。
- •实验分析我们对Peony基准测试上的流行LLMs进行了详细评估，并对结果进行了深入分析。我们的工作为LLMs理解文学作品的研究提供了新的见解。

## 2相关工作
### 2\.1诗歌领域的LLMs
诗歌因其独特的风格特征、巨大的文学价值和显著的挑战而受到广泛关注。当前的研究主要集中在三个方向：诗歌生成、翻译和检测。

诗歌生成。由于LLMs的预训练语料库包含大量不同语言的诗歌，模型本身已表现出一定的诗歌生成能力(2 (https://arxiv.org/html/2608.21827#bib.bib19);8 (https://arxiv.org/html/2608.21827#bib.bib4);14 (https://arxiv.org/html/2608.21827#bib.bib20))。在生成过程中对情感和风格的控制(25 (https://arxiv.org/html/2608.21827#bib.bib5))以及格式约束问题(41 (https://arxiv.org/html/2608.21827#bib.bib6);30 (https://arxiv.org/html/2608.21827#bib.bib7))方面已取得进展。此外，5 (https://arxiv.org/html/2608.21827#bib.bib21)提出了一个评估框架来衡量LLMs创作古典诗歌的能力，而(16 (https://arxiv.org/html/2608.21827#bib.bib22))提出了POEMetric，从执行能力、创造性和整体质量三个维度评估LLMs生成英文诗歌的能力。

诗歌翻译。29 (https://arxiv.org/html/2608.21827#bib.bib24)提出了一种零样本诗歌风格注入方法，将诗歌翻译视为标准机器翻译问题。24 (https://arxiv.org/html/2608.21827#bib.bib23)探讨了LLMs提高韵律和非韵律诗歌翻译质量的潜力。34 (https://arxiv.org/html/2608.21827#bib.bib3)提出了一种基于解释的诗歌机器翻译方法，以提升ChatGPT在诗歌翻译任务中的表现。

诗歌生成检测。35 (https://arxiv.org/html/2608.21827#bib.bib2)构建了一个中国现代诗歌检测基准测试，发现现有检测器难以有效识别由大型语言模型生成的诗歌，而17 (https://arxiv.org/html/2608.21827#bib.bib28)专注于古典诗歌，并提出了ChangAn基准测试，验证了当前基于决策和概率的检测器在此任务中的局限性。

### 2\.2LLM对诗歌的理解
诗歌理解是推进下游任务(31 (https://arxiv.org/html/2608.21827#bib.bib29);33 (https://arxiv.org/html/2608.21827#bib.bib12))的关键前提，如诗歌生成、翻译和检测。44 (https://arxiv.org/html/2608.21827#bib.bib25)通过聚合多源语料库研究了古典中国诗歌，设计了分析文学细微差别并在各种文集上评估模型理解的基准测试。10 (https://arxiv.org/html/2608.21827#bib.bib26)通过案例研究和探测实验分析了LLMs如何在多个语言维度上处理德语诗歌，包括格律、节奏、词汇、句法和修辞语言。1 (https://arxiv.org/html/2608.21827#bib.bib27)引入了Fann Or Flop基准测试，以评估阿拉伯语诗歌在不同体裁和历史时期下的理解能力，评估在语义解释、隐喻分析、韵律意识和文化背景方面的能力。此外，33 (https://arxiv.org/html/2608.21827#bib.bib12)从多个维度评估了ChatGPT解读中国现代诗歌的能力。尽管做了这些努力，但中国现代诗歌中蕴含的诗意逻辑仍未得到充分探索，需要更严格的方法来评估模型对中国现代诗歌的理解。

## 3数据集
### 3\.1数据集统计
目前仍然缺乏针对中国现代诗歌诗意逻辑理解的系统性评估基准。为填补这一空白，我们基于现有的中国现代诗歌语料库构建了Peony基准测试，旨在评估LLMs理解中国现代诗歌诗意逻辑的能力。具体来说，我们利用AIGenPoetry数据集(35 (https://arxiv.org/html/2608.21827#bib.bib2))中由人类创作的高质量现代诗歌为基础，并进一步设计和构建专注于诗意逻辑的任务、问题和标准答案，形成了一个新的评估中国现代诗歌诗意逻辑的基准。Peony总共包含800首现代诗歌。基准测试的统计信息见表1 (https://arxiv.org/html/2608.21827#S3.T1)，按诗节数和行数分类的诗歌分布如图2 (https://arxiv.org/html/2608.21827#S1.F2)所示。

Peony基准测试包含从AIGenPoetry数据集整理的六位当代诗人的800首现代诗歌。表1 (https://arxiv.org/html/2608.21827#S3.T1)报告了语料库和任务统计信息，而图2 (https://arxiv.org/html/2608.21827#S1.F2)显示了按诗节数和行数划分的诗歌分布。

选择当代作品而非经典诗歌作品，旨在减轻数据泄露的风险。鉴于大多数经典诗歌作品可能已包含在LLMs的预训练语料库中，模型可能通过记忆或模式检索而成功，从而掩盖了它们理解诗意逻辑的实际能力。AIGenPoetry于2025年11月发布，在所有评估模型报告的知识截止日期之后。

指标值诗歌数量800行数12,826平均每首诗行数16\.03平均每行字符数10\.23LIO数量800（800）STO数量436（436）IMF数量400（695）SNI数量800（2424）表1：Peony基准测试的统计信息。实际问题数量在括号中表示。
### 3\.2基准测试构建
Peony的构建遵循一个系统化的流程。我们首先从800首诗中选择任务兼容的样本，然后根据每个任务应用行/节洗牌或意象/句子掩码。遵循先前工作(9 (https://arxiv.org/html/2608.21827#bib.bib17);15 (https://arxiv.org/html/2608.21827#bib.bib1))，我们使用DeepSeek-V4-Pro(4 (https://arxiv.org/html/2608.21827#bib.bib15))为IMF和SNI生成初始掩码位置和干扰候选。随后，专业诗人审查所有候选，并在纳入基准测试前对绝大多数进行了大幅修改或替换。

标注者是两位专业诗人和诗歌理论研究者。对于STO和LIO，他们重新设计了选项，这些选项包含明显的语境中断或矛盾的意象，使得区分主要依赖于内在的诗意逻辑。对于IMF，他们移除了多个意象选项可以合理填空的案例，并确保有唯一预期的答案。对于SNI，专家重新设计了干扰项，这些干扰项重复使用与正确答案相同的意象，因此选择一个选项需要评估整个句子与诗歌的连贯性，而不是匹配单个意象词。这些程序以及专家修订过程在附录A (https://arxiv.org/html/2608.21827#A1)中有进一步描述。完整的策展提示词在附录B (https://arxiv.org/html/2608.21827#A2)中提供。

### 3\.3多样性
Peony在诗歌形式、内容和风格上展现了多样性。在形式上，它包括单节和多节诗，每节诗行数相同或不同的诗歌，以及首尾节数相同的对称结构诗歌。诗歌的长度从少于十行到超过三十行不等。