面向连贯性的梦境场景可视化

# 面向连贯性的梦境场景可视化
来源：https://arxiv.org/html/2608.05233  
Azra Açıl 和 Simon Colton  
英国伦敦玛丽女王大学电子工程与计算机科学学院  

###### 摘要  
梦境可能情感强烈，但难以传达。我们描述了梦境场景可视化器（DSV）系统，该系统将书面梦境描述转化为四幅面板图像的时间序列，将梦境可视化。首先，一个大型语言模型被提示将梦境描述分为四个按时间顺序的部分。然后，一个文生图模型为每个部分生成图像，并在整个序列中保持视觉连贯性；DSV会重新生成任何与文本不匹配的图像。我们在DreamBank中的梦境描述上评估了DSV的50个可视化结果，并通过采用CLIP、DINOv2和Qwen2-VL视觉语言模型的客观度量，报告了质量、保真度和连贯性结果。  

## 引言  
梦境是人类体验中最普遍的形式之一，但向他人传达梦境却出乎意料地困难。梦境通常极具个人色彩、情感鲜明，有时缺乏叙事逻辑，这使得仅靠语言很难表达。将梦境可视化可能具有重要价值。已有研究表明，梦境记录有助于自我意识和记忆巩固（Schredl,2002 (https://arxiv.org/html/2608.05233#bib.bib15)）。视觉化的梦境记录也可能支持临床实践。例如，在心理治疗中，患者往往难以用语言描述梦境的气氛，而共享的视觉表征可以为治疗师和患者提供一个关于情绪、意象和情感基调的共同参考点。这对于创伤相关梦境尤其重要，因为意象排练疗法（Image Rehearsal Therapy）在治疗中使用患者自创的意象（Krakow et al.,2001 (https://arxiv.org/html/2608.05233#bib.bib8)），类似于Cheatley等人（2020 (https://arxiv.org/html/2608.05233#bib.bib1)）在丧亲之痛期间使用协同创作歌曲来支持缺乏艺术专业知识的人。  

现有工具在梦境可视化方面存在局限性。尤其是，文生图模型可以生成单个引人注目的图像，但无法生成具有自身情绪、节奏和情感进展的序列。故事可视化模型，如StoryDALL-E（Maharana, Hannan, and Bansal,2022 (https://arxiv.org/html/2608.05233#bib.bib10)）和AR-LDM（Pan et al.,2024 (https://arxiv.org/html/2608.05233#bib.bib12)），能够处理图像序列。然而，它们是在主要由日常意象组成的配对文本-图像数据集上训练的。因此，它们往往会磨平那些使梦境与众不同的不寻常特征。由于没有与文本匹配的梦境可视化数据集，需要一种不同的方法。  

我们提出了梦境场景可视化器（DSV），它将书面梦境描述转化为四幅面板的梦境可视化，每个面板包含图像和文本信息。除了图像的精细度以及对梦境叙事和情绪的保真度之外，该过程的一个关键考虑因素是在整个可视化以及面板之间保持连贯性。在下一节中，我们描述了如何使用Qwen2.5(14B)大语言模型（LLM）（Yang et al.,2024 (https://arxiv.org/html/2608.05233#bib.bib17)）将梦境描述分解为多个部分，从而维护叙事连贯性。此外，通过使用SDXL文生图生成器（Podell et al.,2023 (https://arxiv.org/html/2608.05233#bib.bib13)），以先前图像作为种子来生成面板2、3和4的图像，从而维护视觉连贯性。最后，为了语义连贯性，一个使用视觉语言模型CLIP (ViT-B/32)（Radford et al.,2021 (https://arxiv.org/html/2608.05233#bib.bib14)）的反馈循环会衡量面板图像是否与描述恰当匹配，并重新生成任何不匹配的图像。  

我们在DreamBank库（Domhoff and Schneider,2008 (https://arxiv.org/html/2608.05233#bib.bib2)）中的50个梦境描述上评估了该系统。评估方案包括使用CLIP评估文本/图像对齐度，以及使用DINOv2（Oquab et al.,2024 (https://arxiv.org/html/2608.05233#bib.bib11)）（一种自监督视觉模型）评估面板与面板之间的视觉相似性。我们还使用Qwen2-VL (7B)（Wang et al.,2024 (https://arxiv.org/html/2608.05233#bib.bib16)）视觉语言模型（VLM）作为独立评判者，评估梦境可视化的七个质量维度。  

## DSV流程  
参见图1：DreamBank示例DB-b533e9bb的流程追踪：（a）原始梦境文本（b）分解为四个简短面板文本和主导情绪标签（c）用于SDXL提示的增强面板文本（d）后处理后的生成面板图像，并附有反馈循环次数和与文本的CLIP余弦相似度。  

梦境描述在进入流程之前首先被标注两个属性：1到5之间的复杂度等级，以及一个主导风格标签，即surreal（超现实）、nightmare（噩梦）、peaceful（平静）或fantastical（奇幻）之一。标注由Qwen2.5(14B Instruct)使用基于Hall和Van de Castle（1966 (https://arxiv.org/html/2608.05233#bib.bib5)）梦境编码系统的提示完成。完整提示见附录A。图1 (https://arxiv.org/html/2608.05233#Sx2.F1) 展示了DSV流程应用于一个有代表性的DreamBank报告的追踪。流程处理包括：  

• **面板分解**。为了实现叙事连贯性，梦境首先被分解为四个按时间顺序的面板文本。这是通过以温度0提示Qwen2.5(14B) LLM实现的，提示见附录B。这会产生（a）每个面板的简短描述（b）一个主导情绪标签（c）一个可由SDXL直接使用的视觉提示，以及（d）一个SDXL负向提示。  

• **提示增强**。LLM生成的提示很短，不足以携带足够的风格信号让SDXL在四个面板中生成连贯的视觉风格。因此，我们通过在每个提示前加上风格标签标注，然后附加风格特定的正向标记、情绪特定标记和一个通用质量提升词来增强每个提示。在图1 (https://arxiv.org/html/2608.05233#Sx2.F1) 的示例中，这个阶段将LLM提示从每幅图像约18个词扩展到约55个词。关于如何使用标记词典来增强SDXL正向和负向提示的详细信息，见附录C。  

• **图像生成**。为了实现视觉连贯性，所有图像均使用SDXL 1.0以768×768像素分辨率生成。SDXL生成与正向提示匹配并避免与负向提示匹配的图像。面板1由第一组正向和负向提示生成，但面板2至4使用img2img链式生成，以先前面板图像为条件。这意味着，除了正向和负向提示之外，SDXL还被强制使用先前的图像，权重分别为0.3/0.7。这些权重是经验确定的：低于0.5的img2img强度会使面板坍缩为近乎重复的面板1，而高于0.8的强度则会失去角色和场景的连续性。我们发现0.7的强度既能保留可识别的连续性，又允许每个面板引入自身的内容。这种机制在梦境保持在单一场景中时效果最佳。例如，在图1 (https://arxiv.org/html/2608.05233#Sx2.F1) 中，黑暗的房屋、梦境者的剪影以及红紫色调在四个面板中都得以保持。  

• **CLIP反馈循环**。为了实现语义连贯性，在每幅图像生成后，我们使用CLIP衡量图像与每个面板文本描述之间的余弦相似度，数值越高表示两者越一致。如果对齐得分低于校准阈值0.228，则使用通过强调变化和添加“sharp focus”等标记修订的提示重新生成该面板，总共最多允许三次尝试。在图1 (https://arxiv.org/html/2608.05233#Sx2.F1) 的示例中，循环在面板1上触发了一次，因为第一次尝试低于阈值，第二次尝试的修订提示被接受，CLIP余弦相似度为0.243。  

• **后处理**。四幅图像每幅都经过一次轻量的美化处理，将对比度提升至1.15，亮度提升至1.05。随后应用σ=0.4的高斯模糊，以及强度为0.25的径向暗角。我们发现这种后处理有助于在视觉上统一四个面板，以便于梦境日记展示。图1显示了一个*超现实*示例，附录F包含*噩梦*、*奇幻*和*平静*类别的额外示例可视化。  

## 评估  
将可视化面板数量固定为四个，可以使输出格式在不同长度的梦境中保持一致。这使得我们能够在DreamBank报告上通过三个互补信号评估DSV：文本-图像对齐、面板与面板之间的视觉连贯性，以及一个七维度视觉语言评判者。我们从DreamBank中抽取了50个梦境报告，这些报告来自八个梦境者系列，涵盖日常型、清醒型、焦虑型、长叙事型等梦境类型。使用Qwen对梦境报告按梦境风格进行标注，结果如下：*噩梦*：18个梦境，*奇幻*：6个，*超现实*：14个，*平静*：12个。增强后提示的词数范围为52到412，中位数为194。  

我们使用CLIP ViT-B/32衡量每个生成面板与其增强描述之间的图像到文本对齐度，并报告每个梦境的均值。我们还使用DINOv2模型衡量相邻面板之间的视觉相似性，高分表示连续面板共享角色、色调和场景，这正是img2img链式生成所设计要产生的连贯性形式。为了进一步评估梦境可视化，我们使用Qwen2-VL(7B)视觉语言模型实现了一个*评判者*。关于如何提示该模型以对梦境可视化进行评判的完整细节，见附录D。概而言之，每个梦境调用评判者两次。首先，对每个面板调用一次，以评判单幅图像的四个美学品质，即：美学质量、角色存在感、梦境感和文本保真度。其次，将四个面板图像合并为一幅图像，并询问评判者三个序列级维度，即：风格一致性、叙事连贯性和情绪进展。评判者被提示在1到5的李克特量表上对每个图像/序列质量打分，1表示低质量，5表示高质量。  

在50个梦境中，使用完整流程产生的图像/文本对的平均CLIP余弦相似度为0.250±0.020，相邻面板的平均DINOv2连贯性为0.623±0.143。打乱基线的对照确认这两个信号都高于偶然水平：匹配CLIP=0.252 vs 打乱=0.201（p=6×10⁻²⁵，配对Wilcoxon），链式DINOv2=0.623 vs 随机4元组=0.182（p=1.4×10⁻²⁷，Mann–Whitney U）。这两个度量弱相关（r=+0.24），确认它们衡量连贯性的不同方面。  

评判者给出的得分见表1 (https://arxiv.org/html/2608.05233#Sx3.T1)。这些结果表明实现了高风格一致性和美学质量（均高于4/5），文本保真度中等（3.2），但序列级叙事和情绪连贯性得分较低。这与生成风格强烈、视觉连续的意象，但仅部分捕捉叙事细节的情况一致。CLIP与评判者的文本保真度得分中度相关（r=+0.38, p=0.007），支持将CLIP用作粗略的对齐信号，而非感知质量的替代。我们发现相邻DINOv2连贯性沿链递减（从P1→P2的0.66降至P3→P4的0.58），反映了重复img2img条件作用导致的累积视觉漂移。  

表1：评判者在1到5李克特量表上的评分。逐面板维度在200个生成面板上取平均；逐序列维度是对每个梦境的单一评分。  

• **一项主观评估**。在一项小型试点研究（N=10）中，受试者使用1到5的李克特评估对自己的梦境描述的可视化进行评分，评估维度涵盖风格、情绪调色板、创意细节、叙事准确性、物体保真度和过渡。我们发现评分与自动化评判者一致：风格应用得分最高（平均4.40），其次是情绪调色板（4.20）和创意细节（4.00），而物体保真度（3.60）和过渡（3.50）得分最低。  

表2：10个梦境上的消融实验：CLIP：每个梦境的平均值；Δ：与条件A的差异；p值及显著性，其中s.=显著，n.s.=不显著。  

• **一项消融研究**。我们在一个包含10个梦境描述的留存子集上消融每个流程阶段。从完整流程（A）开始，我们移除提示工程（B）、CLIP反馈循环（C）、img2img链式生成（D），最后将系统简化为在未处理的LLM提示上的SDXL（E，基线）。每个消融与A使用带有Bonferroni校正（α=0.0125）的双侧Wilcoxon符号秩检验进行比较。结果见表2 (https://arxiv.org/html/2608.05233#Sx3.T2)。我们看到，移除提示工程（B）或返回基线（E）都会相对于完整流程显著提高CLIP对齐度。移除img2img（D）显示出边际效应，但在校正后未达到显著性。我们还看到，移除CLIP循环（C）没有显著变化，这是因为反馈循环很少触发重新生成，实际上只有3%的面板触发了该循环。  

• **LoRA微调**。为了研究是否可以通过更梦幻的意象来改进该流程，我们使用在Pinterest上找到的50幅超现实艺术作品，在SDXL的UNet上微调了一个秩为16的LoRA。LoRA（Hu et al.,2021 (https://arxiv.org/html/2608.05233#bib.bib7)）是一种参数高效的微调方法，在不修改预训练模型权重的情况下调整模型。在从评估集中采样的5个超现实梦境上，平均CLIP余弦相似度从0.280提高到0.290，其中5个梦境中有4个得到改善。然而，在通用提示上，CLIP得分下降了0.009。我们发现该效果是内容条件性的，即，微调在基础模型先验最弱的领域有帮助，而在先验已经很强的领域则有害。  

## 讨论  
DSV生成了风格强烈且视觉连贯的序列，评判者的风格一致性得分为4.92/5，美学价值得分为4.41/5。然而，完整流程方法在CLIP余弦相似度上显著低于一个最小基线（p<0.005）。此外，当我们添加面向连贯性的组件时，CLIP得分下降，如表2 (https://arxiv.org/html/2608.05233#Sx3.T2) 所示。我们还看到，DINOv2连贯性沿img2img链衰减，而评判者则对序列的感知质量给予高分。因此，似乎我们为DSV的设计选择改善了输出。然而，CLIP却指向相反方向。这种模式部分可由SDXL的77个标记文本编码器限制解释：增强提示超过了这一限制，而SDXL会静默丢弃超出的部分，其中包含我们模板末尾的情绪和叙事标记。这有助于解释评判者在逐序列维度上的较弱得分（叙事2.68，情绪2.30），尽管逐面板维度得分较高（均高于3.2）。CLIP无法检测到这一差距，因为它对