使用可解释的形式级特征检测与引导LLM生成的韩国诗歌

# 通过可解释的形式特征检测与引导LLM生成的韩语诗歌  
来源：https://arxiv.org/html/2608.28986  
作者：  
金根庆  
所属机构：中央大学 人工智能系  
电子邮箱：[[email protected]](mailto:[email protected])  

刘承旭  
所属机构：中央大学 人工智能系  
电子邮箱：[[email protected]](mailto:[email protected])  

金勇彬  
所属机构：  
中央大学 人工智能系  
中央大学 高级影像科学、多媒体与电影研究生院  
电子邮箱：[[email protected]](mailto:[email protected])  

###### 摘要  
大语言模型（LLMs）在创作现代韩语诗歌时常常显得力不从心，其输出常被形容为“分行的散文”。我们针对两个相互关联的任务展开研究：判断一首韩语诗歌是人类创作还是LLM生成，以及引导LLM生成更贴近人类写作形式的诗歌。我们从四个形式层面的语言维度量化了人类与LLM之间的差距：输出长度（体量）、行末形式的多样性与连接词使用（结构变化）、行长的不规则性（节奏不规则性）以及对标准正字法的遵循程度（规范遵循度）。我们将这些维度转化为五个可解释的特征用于检测任务。一个基于这五个特征的逻辑回归分类器，在针对七个未见过的LLM进行零样本分布外检测时，平均AUC-ROC达到83.60，而我们对比中最强的基线方法KatFishNet（一个利用标点和空格线索的、针对韩语文本的LLM检测器）为75.84，实现了7.76个AUC点的绝对增益和10.23%的相对提升；我们分类体系之外的、生成器特有的标点模式仍是一个边界案例。在生成任务方面，GPT-5.2的专家评估显示，特征引导的诗歌优于无约束的基线生成，并且跨GPT-5.2和Gemini-3的分析表明，针对性地调整长度、节奏和结尾统计特征能使输出更接近人类分布。这些结果表明，可解释的、针对特定语言的特征可以弥合LLM生成诗歌的诊断与引导之间的鸿沟[111]。我们的代码和数据可在https://github.com/keunhyeung/korean-poetry获取。

## 1 引言  
尽管大语言模型（LLMs）表现出色，但在诗歌创作方面仍存在局限（Hu et al., 2024）。然而，其输出常被描述为“分行的散文”，倾向于选择安全平淡的词汇，缺乏诗歌应有的张力或节奏（Tian and Peng, 2022）。这种倾向与三个有据可查的LLM偏差来源一致：以散文为主的训练语料库（Brown et al., 2020; Touvron et al., 2023）、由似然最大化导致的多样性损失（Zhang et al., 2018），以及向均值回归的趋势（Shumailov et al., 2024）。因此，我们从形式层面的表面统计特征角度，刻画韩语诗歌中与这些偏差相关的特征。

图1：所提框架概述。已知的LLM偏差引出了四个形式层面的维度：体量、结构变化、节奏不规则性和规范遵循度。我们将这些维度转化为五个可解释的特征，这些特征既支持零样本分布外检测，也支持特征引导的生成。

此前计算诗歌生成的工作主要依赖于如格律和押韵等显式约束（Ghazvininejad et al., 2017; Lau et al., 2018; Yu et al., 2024）。然而，如此僵化的约束与现代韩语诗歌并不契合，后者常常偏离固定格律，通过分行和意义驱动的节奏来构建韵律（Cho, 2008; Kwon, 2008; Choi, 2017）。因此，我们采取诊断而非约束工程的立场。我们不设计单一机制将输出推向期望的形式，而是将人类诗歌与LLM诗歌之间的差距分解为互补的轴线，用于诊断和提示层面的干预。借鉴先前关于LLM统计同质性和形式僵化的研究（Holtzman et al., 2020; Reinhart et al., 2025; Park et al., 2025），我们确定了四个区分人类创作与LLM生成的韩语诗歌的形式层面语言维度：（1）体量，（2）结构变化，（3）节奏不规则性，（4）规范遵循度。我们将它们视为一个受前述记录的长度、结尾形式、节奏和正字法偏差启发的诊断分类体系，并将每个维度操作化为一个量化特征，该特征兼具检测信号和干预目标的功能，如图1所示。

尽管我们的分析聚焦于韩语诗歌，但更广泛的方法可能通过使用可解释的、特定于语言的特征进行诊断和干预，为其他语言和体裁的研究提供参考。我们的贡献如下：

- • 我们引入了一个针对韩语LLM生成诗歌的四个形式层面维度的诊断分类体系，并将其操作化为五个可解释的语言特征。
- • 我们证明了这些特征支持在七个未见过的LLM上进行零样本分布外（OOD）检测，平均性能优于最强的KatFishNet配置，同时揭示了生成器特定的边界案例。KatFishNet是最接近的韩语LLM文本检测器，利用标点和空格线索，并提供了我们的基础数据集。
- • 我们将相同的特征复用为提示层面的引导，并证明它们能提升专家评判，并将若干形式层面的统计量向人类诗歌分布移动，同时将正字法规范性作为一个残留限制。

## 2 相关工作  
### 2.1 人类文本与LLM文本的语言差异  
基于特征的分析表明，LLM输出占据一个受限的统计空间，其词汇多样性和句子长度的方差低于人类写作（Opara, 2024; Muñoz-Ortiz et al., 2024）。在这些观察的基础上，近期研究显示生成文本通过紧密的聚类和有限的句法结构表现出风格上的同质性，而人类文本则反映出异质的个体差异（O’Sullivan, 2025; Zamaraeva et al., 2025）。计算文体学为作者归属、体裁、可读性和文本分类提供了广泛的特征清单。Coh-Metrix（Graesser et al., 2004）汇编了连贯性、语篇、句法、词汇和可读性度量，而StyloMetrix（Okulska et al., 2023）则将多语言文体学向量操作化。近期的文体学检测研究表明，即使在短文本样本中，这些特征也能区分人类和LLM生成的文本（Przystalski et al., 2026）。诗歌分析工作进一步表明，如诗行结尾和诗节结构等形式线索与特定的语言和诗歌传统相关（De Sisto et al., 2024; Bhyravajjula et al., 2025）。人类与LLM的形式对比在韩语LLM生成文本中也可见一斑，其输出默认为显式的、低语境的模式（Lee et al., 2025）。最接近我们工作的先前研究是KatFishNet（Park et al., 2025），它通过面向标点和空格的线索识别出僵化的正字法遵循性，并将其用作检测韩语LLM通用文本的信号。我们的工作与这些资源是互补的，而非直接替代，因为我们构建了一个专门为韩语自由诗分行、结尾、连接词和空格设计的、有意窄化的诗歌特定分类体系，并将其复用于检测和生成引导。

### 2.2 带有显式形式约束的诗歌生成  
先前的计算诗歌生成工作主要聚焦于如格律和押韵等显式的硬性约束。早期方法通过将形式约束直接集成到解码过程或优化目标中来强制严格遵循（Ghazvininejad et al., 2017; Lau et al., 2018）。为了在这种刚性约束下使文本与计划结构对齐，后续工作采用了层次规划和用于藏头诗的专用约束（Tian and Peng, 2022; Agarwal and Kann, 2020）。更新的研究使用无分词或字符级建模来强制执行精确字符计数和押韵方案等表面约束（Belouadi and Eger, 2023; Yu et al., 2024）。其他方法使用多样化机制，包括无监督控制码和基于扩散的架构，来操作格律结构（Ormazabal et al., 2022; Hu et al., 2024）。当目标形式由显式模板定义时，这些方法是有效的，但它们不太适用于现代韩语诗歌，后者通常通过分行和意义驱动的节奏而非固定格律来构建韵律（Cho, 2008; Kwon, 2008）。另一系列研究试图通过参数高效的微调（Hu et al., 2022）将此类形式约束内化，包括带有格律和押韵标注的捷克诗歌（Rosa et al., 2025）和梵语Anushtubh格律生成（Jagadeeshan et al., 2026）。我们并非强制执行僵化的形式约束或通过权重更新学习它们，而是利用从区分人类诗歌和LLM输出的线索中提取的软性语言信号来引导生成。

## 3 语言维度：四个关键差异  
我们确定了四个区分人类创作与LLM生成的韩语诗歌的语言维度：体量、结构变化、节奏不规则性和规范遵循度。我们将它们视为受先前研究记录的规律性启发的诊断分解，而非在此确立的因果机制。由以散文为主的预训练导致的长度膨胀启发了体量维度。似然最大化下的多样性损失通过向少量句末和连接词形式收敛，启发了结构变化维度。行长的向均值回归启发了节奏不规则性维度。由同一散文主导语料库强化的正字法标准启发了规范遵循度维度。我们使用以下五个量化特征来操作化这些维度。附录A定义了这些变量。

### 3.1 体量  
原始体量（\(f_{\text{vol}}\)）  
人类和LLM在偏好的输出长度上存在显著差异（Kouwenhoven et al., 2025）。我们使用词元计数度量来捕捉这种差异。令\(x\)表示输入诗歌，\(\tau(\cdot)\)表示基于空白符的分词函数。原始体量定义为分词序列的基数：  
\[ f_{\text{vol}} = \|\tau(x)\| \tag{1} \]

### 3.2 结构变化  
结尾类型多样性（\(f_{\text{div}}\)）  
人类创作的诗歌往往使用更广泛的句末形式，即使在有限的长度内也是如此，而LLM输出常常重复有限的结尾集合（Holtzman et al., 2020; Zamaraeva et al., 2025）。我们从诗歌中的所有行级单元中提取结尾序列\(\mathcal{E}\)。对于每一行，Kkma词性标注器（Park and Cho, 2014）识别最后一个词元。每个结尾表示为一个归一化的行末形式，结合其表面后缀和词性类别，而不仅仅是粗略的“终结/连接/其他”标签。粗略标签用于\(f_{\text{conn}}\)。如果没有显式的行断句，则解析由标点或换行符分隔的类句单元。多样性是不同结尾类型数与总行数之比：  
\[ f_{\text{div}} = \frac{\|\mathcal{U}_{\mathcal{E}}\|}{\|\mathcal{E}\|} \tag{2} \]  
其中，\(\|\mathcal{E}\|\)计算行末结尾的数量（每行级单元一个），\(\|\mathcal{U}_{\mathcal{E}}\|\)计算它们不同类型的数量。

句法连接（\(f_{\text{conn}}\)）  
韩国作者常常允许从句和行之间存在隐含关系（Hall, 1976; Lincoln, 2010; Park et al., 2015），而LLM输出更常显式地表达语篇关系（Lee et al., 2025）。使用相同的单元级结尾序列\(\mathcal{E}\)，我们如果词性标记是连接性终结词性，或匹配一个启发式的常见韩语连接后缀集合，则将该结尾分类为连接性。句法连接随后被量化为连接性结尾的比例：  
\[ f_{\text{conn}} = \frac{1}{\|\mathcal{E}\|} \sum_{e \in \mathcal{E}} \mathbb{I}(e = \text{conn}) \tag{3} \]

### 3.3 节奏不规则性  
突发性（\(f_{\text{burst}}\)）  
现代韩语诗歌常常偏离固定格律，而是通过短语和呼吸来发展节奏（Cho, 2008; Kwon, 2008），而LLM输出往往产生更均匀的句子结构和行长模式（Yadagiri et al., 2024; Muñoz-Ortiz et al., 2024）。更广泛地说，LLM生成的文本相比人类写作，其离散度和变异性可能降低（Opara, 2024）。