什么是好?从LLM推理轨迹中提取并测试文学质量的隐含理论

arXiv cs.CL 论文

摘要

本文通过分析具备推理能力的LLM在评价从诺贝尔文学到论坛帖子的文本时的推理轨迹,提取这些模型关于文学质量的隐含理论,并通过系统性地降低文学段落质量来测试这些理论。模型对结构和语体的敏感度高于词汇。

arXiv:2607.20425v1 公告类型: 新 摘要: 什么使写作“好”仍然是文学研究和计算语言学中一个持久的问题。我们提出一项由两项研究组成的调查,探讨具备推理能力的LLM如何评估文学质量。 在Study 1中,我们构建了一个包含30篇真实文本的基准,跨越六个质量等级,从经典文学到匿名论坛帖子,并从模型的推理轨迹中提取其关于质量的隐含理论。在五次DeepSeek复制中,模型达到了79.3%的平均等级分类准确率。这些轨迹揭示了一致的陈述理论:模型重视意图性而非正确性,优先考虑技巧、深度和独特语体。一项使用风格匹配但无法辨识段落的熟悉度实验表明,来源识别可能会提高分数,尽管这与经典原著和研究者撰写的模仿作品之间的真实质量差异相混淆。 在Study 2中,我们通过对五篇经典散文段落进行系统性降质来探究这一理论。我们应用六种操作——词汇简化、节奏扁平化、意象移除、语体通用化、结构简化和组合降质——并重新评估每个版本。词汇简化导致的质量损失最小(0.41 ± 0.46分),远低于结构(2.78)或语体(2.34)损失。组合降质是毁灭性的(-5.64)但呈亚可加性。与Qwen QwQ的探索性比较显示了相同的广泛定性模式。 总之,这些研究表明,LLM对写作质量的判断是整体的、作者特定的,并且对结构特征比词汇特征更敏感,这对自动写作反馈和计算美学具有启示意义。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:15

# 什么算是“好”?从大语言模型推理轨迹中提取与检验文学质量的隐含理论
来源:https://arxiv.org/html/2607.20425
Birger Moëll 语言学和语言学系 乌普萨拉大学 瑞典乌普萨拉 birger\.moell@lingfil\.uu\.se (https://arxiv.org/html/2607.20425v1/mailto:[email protected])

###### 摘要

是什么让写作变得“好”在文学研究和计算语言学中仍是一个持久的问题。我们通过两项研究进行探讨,首先从具备推理能力的大语言模型中*提取*,然后*探究*其关于写作质量的隐含理论,并在五个独立的DeepSeek运行上进行复现,同时使用DeepSeek R1和Qwen QwQ进行跨模型验证。

在研究1(观察性研究)中,我们构建了一个包含30篇真实文本的基准数据集,涵盖从诺贝尔奖获奖文学(莫里森、加西亚·马尔克斯、石黑一雄、伍尔夫、鲍德温)到匿名论坛帖子的六个质量层级,并从模型的推理轨迹中提取其关于质量的隐含理论。模型达到了80%的分类准确率(通过复现计算的95%置信区间:见第4.6节),其系统性的混淆模式揭示出真正的审美敏感性。对超过36,000个字符的推理轨迹进行分析,揭示出一个一致的理论陈述:模型重视*意图性而非正确性*,优先考虑技艺、深度和独特的声音。一项使用风格匹配但不可识别的段落的受控熟悉度实验发现,暗示性证据表明来源识别会导致评分膨胀,尽管该效应与原作者和研究者所写仿作之间的真实质量差异相混淆。

在研究2(敏感性分析)中,我们通过系统性降质来探究这一理论。我们选取了五篇经典文学段落,并应用六种类型的受控操作——词汇简化、节奏扁平化、意象移除、声音泛化、结构简化和综合降质——并通过相同的流程评估每个版本。

降质实验得出了惊人的发现:词汇简化在多次复现中造成的质量损失最小(0.41±0.46分)——比结构(2.8)或声音(2.3)损失低一个数量级。声音泛化显示出较大但具有作者特异性的效应(伍尔夫:-5.7;奥威尔:-0.4)。综合降质具有破坏性(-5.6),但呈亚加性,推翻了早期单次运行中观察到的超加性。相同的广泛定性模式也在探索性的QwQ比较中出现。

这些研究共同表明,LLM的质量评估是整体性的、具有作者特异性的,并且主要对结构特征而非词汇特征敏感——这对自动化写作反馈和计算美学具有重要意义。

#### 通俗语言摘要

本文研究具备推理能力的语言模型如何判断一篇作品是否“好”。首先,分析模型在评价从经典文学到非正式网络写作的各种文本时给出的解释。然后,通过系统性地削弱文学段落的不同特征(如词汇、节奏、声音和句子结构)来测试这些解释。在多次运行和两个模型之间,主要模式是一致的:模型对结构和声音的敏感性远高于词汇本身。论文认为,这些系统拥有一个关于文学质量的隐含理论,但其陈述的理由与实际评分行为并不总是一致的。这些结果对计算文学研究、关于LLM忠实度的研究以及自动写作反馈工具的设计都有意义。

#### 关键词

计算文学研究;大语言模型;文学质量;推理轨迹;评估;复现

## 1 引言

“什么是好的写作?”这个问题没有确定的答案,但人类一直在进行质量判断:编辑接受或拒绝稿件,教师打分,读者选择阅读内容。这些判断虽然是主观的,但显示出相当大的一致性,暗示着可能存在可以进行系统研究的潜在规律。

在大量文本语料上训练的大语言模型吸收了隐含的质量理论。当被要求评估写作时,它们可以产生在受控评估环境中与人类偏好惊人一致判断(Zheng et al., 2023; Liu et al., 2023)。更有趣的是,具备推理能力的模型会生成扩展的“思考轨迹”(thinking traces),阐明其判断的*依据*。这些轨迹为我们提供了一个窗口,得以窥见否则将保持缄默的隐含审美理论。

但提取理论只是科学过程的一半。理论必须被*检验*。如果一个模型声称“技艺”和“声音”驱动着质量,我们可以通过降低高质量文本中的技艺或声音,并观察模型的质量分数是否实际下降来探究这一点。这种受机器学习中敏感性分析启发的消融式方法,揭示了模型的质量评估对哪些文本特征最敏感。

本文呈现两项互补的研究:

研究1:观察。我们构建了一个包含30篇跨越六个质量层级的真实文本的基准数据集,并从模型的推理轨迹中提取其关于质量的隐含理论。模型关注哪些特征?它使用什么词汇?它识别出哪些权衡?

研究2:敏感性分析。我们选取五篇经典文学段落,并在保持其他特征不变的情况下,系统性地降级特定特征。当我们简化词汇时,模型的质量分数会下降吗?扁平化节奏呢?移除声音呢?这探究了模型评估对特定文本特征的敏感性,检验了其理论中隐含的主张。

这两项研究共同提供了对一个LLM“认为”什么使写作变好的阐述和实证检验。

我们的贡献:

- • 一个经过验证的基准数据集,包含30篇跨越六个质量层级的真实文本,附有客观的可读性统计数据。
- • 从超过36,000个字符的推理轨迹中提取模型的隐含质量理论。
- • 一个探究模型对特定质量特征敏感性的降级梯度实验,并在五个独立的DeepSeek运行上进行复现。
- • 使用Qwen QwQ进行跨模型验证,以评估结果能否推广到单个LLM之外。
- • 发现词汇简化仅导致模型质量分数的小幅下降,而结构和声音至关重要。
- • 证据表明,综合降级产生的分数下降幅度远大于任何单一操作,且复现显示是亚加性而非超加性效应。
- • 一个熟悉度偏差实验,探究来源识别与质量评分之间的关系,并对其局限性进行诚实讨论。

## 2 背景

### 2.1 写作质量的理论

写作质量已在多个维度上被理论化。修辞传统强调*清晰性*、*适当性*和*说服力*(Aristotle, -350)。文学批评重视*原创性*、*复杂性*和*审美统一性*(Brooks, 1947)。创意写作教学法经常引用*声音*、*展示而非告知*和*具体细节*(Gardner, 1991)。

这些框架有重叠,但也有冲突。清晰性和复杂性存在张力;适当性取决于体裁;影响力可能需要审美上的妥协。没有统一的理论能捕捉质量的所有维度,专家的判断仍然是不可简化的主观判断(Elbow, 1981)。关键在于,现有的框架是观察性的——识别出与质量*相关*的特征,但并未确立因果必然性。

### 2.2 可读性指标

客观的文本复杂性度量提供了部分质量代理。Flesch-Kincaid年级水平根据句子长度和音节数估计阅读难度(Kincaid et al., 1975)。Gunning Fog指数类似地结合了句子长度和多音节词频率(Gunning, 1952)。这些指标捕捉了复杂性而非质量——我们的结果将实证确认这一区别。

### 2.3 自动作文评分与计算美学

自动作文评分是一个成熟的领域,它计算性地评估写作质量。Ke和Ng(2019)提供了一份全面的方法综述,范围从基于特征工程的方法到神经模型。Uto(2021)回顾了深度学习AES系统,指出虽然它们在整体评分上达到了与人类评分员的高度一致,但在细粒度的质量维度上存在困难。我们的工作与AES的不同之处在于,我们关注的是文学质量而非学生写作能力,并且我们使用推理轨迹来提取质量判断的*依据*,而不是简单地预测分数。

计算美学在文学领域已被Kao和Jurafsky(2012)探索过,他们使用计算特征分析了诗歌中的风格、情感和意象。用于作者身份归属的文体学方法(Stamatatos, 2009)也具有相关性,因为它们证明了文本特征可以捕捉作者的“声音”——这是我们质量框架中的一个核心概念。

### 2.4 作为评估者的LLM

最近的研究探索了LLM作为文本评估者。Zheng等人(2023)引入了LLM-as-judge用于比较模型输出。Lee等人(2024)表明,模型生成的偏好标签可以在RLHF流程中替代人类反馈。Liu等人(2023)展示了LLM对文本生成质量的评估。然而,LLM评估者表现出系统性偏差:Wang等人(2024)记录了位置顺序不公平性,Zheng等人(2023)讨论了成对评判中的自我增强和冗长效应,Koo等人(2024)对更广泛的认知偏差(包括锚定效应)进行了基准测试。这些偏差与我们的研究相关,因为模型的来源识别(第3.5节)可能反映了一种熟悉度或权威性偏差。

我们的工作将LLM评估扩展到文学维度,利用推理轨迹进行理论提取和敏感性分析。

### 2.5 LLM推理的忠实度

一个关键的方法论考虑是推理轨迹是否忠实地代表了模型的决策过程。Turpin等人(2024)表明,思维链解释可能系统地不忠实,模型会产生看似合理但错误的推理。Lanham等人(2023)开发了测量推理忠实度的方法,并发现陈述的推理往往与因果影响输出的特征存在分歧。这些发现与我们的研究2直接相关:词汇悖论——模型在推理中赞扬词汇,但对词汇简化表现出零敏感性——可能恰恰反映了这种陈述性推理与实际操作性推理之间的脱节。我们将推理轨迹视为关于模型处理过程的一个暗示性信号,而非其计算过程的透明窗口。

## 3 研究1:提取模型的质量理论

### 3.1 基准数据集构建

我们在六个质量层级中每个层级精选了5篇文本(共30篇),使用了带有归属的真实已出版文本:

文学(层级1):来自托妮·莫里森(《宠儿》)、加西亚·马尔克斯(《百年孤独》)、石黑一雄(《别让我走》)、弗吉尼亚·伍尔夫(《达洛维夫人》)和詹姆斯·鲍德温(《乔瓦尼的房间》)的开篇段落。

声望新闻(层级2):盖伊·特立斯(《弗兰克·辛纳屈感冒了》)、琼·狄迪恩(《向伯利恒跋涉》)、大卫·福斯特·华莱士(《思考龙虾》)、珍妮特·马尔科姆(《记者与谋杀犯》)、乔治·奥威尔(《射象》)。

优质新闻(层级3):专业通讯社和报纸风格(路透社、美联社、BBC、纽约时报、卫报)。

博客(层级4):保罗·格雷厄姆的文章、Wait But Why、技术博客、Substack个人随笔、食谱博客。

社交媒体(层级5):Reddit的AITA、relationship_advice、TIL、showerthoughts和Twitter帖子。

匿名论坛(层级6):Greentext格式和匿名论坛讨论。

表1:来自每个质量层级的真实文本示例。

### 3.2 可读性验证

我们计算了Flesch-Kincaid、Gunning Fog、Coleman-Liau和词汇多样性指标,以验证层级区分(图1)。关键发现:复杂性 ≠ 质量。新闻写作获得了最高的Flesch-Kincaid年级水平(12.2)和Gunning Fog(15.7),但其质量评级却低于文学散文(FK 7.2)。文学作家使用策略性的简单语言;新闻作家则不期然地使用了复杂语言。

参见图1:按层级的可读性指标。新闻写作最复杂;文学散文适中。复杂性不能预测质量。

### 3.3 模型评估

DeepSeek R1对每篇文本进行了评估,提供了层级分类、维度分数(散文、深度、技艺、声音、影响力,1-10分制)、关键优点、缺点以及一句简短评价。模型在回应前会生成扩展的推理轨迹,我们对其进行了详细分析。

### 3.4 分类结果

模型达到了**80%的整体准确率**(30篇中正确24篇)。图2展示了混淆矩阵。

参见图2:混淆矩阵。文学和新闻实现了完美识别。狄迪恩和奥威尔被“提升”从新闻到文学。匿名论坛与社交媒体混淆。显著模式:所有五篇文学文本均被正确识别。琼·狄迪恩和乔治·奥威尔被归类为文学而非新闻——考虑到他们经典的文学地位,这可以说是正确的。优质新闻和博客均实现了100%准确率。匿名论坛/社交媒体显示出最大的混淆。

### 3.5 推理轨迹中的来源识别

一个关键的混杂因素从对推理轨迹的细读中浮现出来:**模型在评估文本之前,经常识别出源文本的作者和标题**。这引出了一个根本性问题:模型是在评估内在的散文质量,还是在识别经典作品并据此打分?

我们系统地审查了所有30条推理轨迹,寻找对源文本的明确识别(提及作者或作品)。表2总结了结果。

表2:按层级的来源识别。模型在30条推理轨迹中的6条中明确识别了作者或作品,完全集中在顶层两个层级。识别具有明显的层级依赖性。模型识别了莫里森(“托妮·莫里森《宠儿》的段落”)、加西亚·马尔克斯、石黑一雄、伍尔夫(“我立刻认出这是伍尔夫的作品”)、奥威尔(“我立刻认出这是奥威尔的作品”)以及特立斯的人物特写。模型从未识别出层级3-6中的任何来源。这种不对称是可以预期的——经典的文学作品

相似文章

SAGE:基于本体论解释维度的分层大语言模型文学评估

arXiv cs.CL

本文介绍了 SAGE,这是一个基于分层大语言模型的框架,通过基于本体的解释维度来评估文学质量。它在评估叙事的文化、情感和哲学方面表现出高可靠性和评分者间一致性,凸显了人类创作作品与大语言模型生成作品之间的差距。

ReasoningFlow: 用于理解LLM推理轨迹的篇章结构

arXiv cs.CL

介绍 ReasoningFlow,一个将大语言模型推理轨迹的篇章结构捕获为有向无环图的框架,从而能够细粒度分析推理行为(如自我反思和回溯)。基于对数千条轨迹的手动和自动标注,揭示了模型之间的结构相似性,并且大多数错误步骤并不贡献于最终答案。