语言作为创意LLM交互的物质界面
摘要
本文通过一项为期两周的实物设备研究(名为Memetic Mixer的有形交互设备),探讨创意从业者如何将语言作为与LLM交互的物质界面。
arXiv:2607.24753v1 Announce Type: cross
摘要:虽然指令性提示是与大型语言模型(LLM)交互的主要方式,但许多创意实践依赖于开放式、联想性、音感美学、象征性且跨越多重时间性的语言。在这项工作中,我们探讨了当语言不仅被视为指令而且被视为材料时,创意从业者如何与AI系统合作。我们通过设计探针Memetic Mixer(一种有形交互设备,限制与LLM的交互)对四位创意从业者进行了为期两周的生态研究。对研究后访谈和设备日志的分析识别出不同的物质语言使用模式和时间性,这些模式和时间性塑造了每位参与者与AI的互动及他们的创意实践。我们反思这些发现,并提出支持创意实践中与AI开放交互的设计考量。
查看缓存全文
缓存时间: 2026/07/29 09:56
# 语言作为创造性LLM交互的材料界面 来源: https://arxiv.org/html/2607.24753 (2026年1月29日) ###### 摘要。 尽管指令式提示是使用大型语言模型(LLMs)的主要方式,但许多创造性实践依赖于开放式的、联想性的、音韵美感的、象征性的语言,并且这些语言跨越多种时间性展开。在这项工作中,我们探讨了当语言不被仅仅视为指令,而是作为材料时,创意从业者如何与AI系统协作。我们通过一个设计探针——*Memetic Mixer*(一种限制与LLM交互的实体交互设备)——对四位创意从业者进行了为期两周的生态学研究。对研究后访谈和设备日志的分析揭示了不同的材料语言使用模式和塑造每位参与者与AI互动及其创造性实践的时间性。我们反思了这些发现,并提出了支持创造性实践中与AI进行开放式互动的设计考量。 生成式AI,大型语言模型,创造力,实体界面,物质性 ††期刊年份:2026††版权:cc††会议:创造力与认知;2026年7月13–16日;英国伦敦††丛书名:创造力与认知(C&C '26),2026年7月13–16日,英国伦敦††DOI:10.1145/3803784.3816859††ISBN:979-8-4007-2583-8/2026/07††CCS:应用计算 美术††CCS:计算方法 人工智能††CCS:人机交互 交互设计的实证研究参见图注图1. 与*Memetic Mixer*的动手交互## 1. 引言 大型语言模型(LLMs)如今已成为查找信息、提供解释和生成创意作品的常见工具。然而,在这些使用模式中,聊天界面将LLM交互限制在提示和响应的离散交换上。虽然直接或指令化的语言(例如给出明确的指示)在许多情况下很重要,但语言也可以用于开放式和创造性的语境中。这要求我们不仅将语言视为语义界面,更要突出其**物质性**:作为情绪与情感、赋形、声音与图像,以及物理形态。 语言作为材料界面是开放且具有联想性的。它贯穿于对话中的连续梯度,也存在于象征主义的非时间维度中。语言通过其众多的物理形式变得多感官:从手写笔记的视觉个性,到发音时嗓音的物理感受。LLM无法识别语言的这些材料方面,它们仅将文本视为数字代币(Alis等, 2024 (https://arxiv.org/html/2607.24753#bib.bib31))。为了实现人类语言的丰富性,在与LLM的创造性交互中应体现物质性。 本研究旨在更好地理解如何将语言用作创造性LLM交互的材料界面。我们招募了四位创意从业者,让他们使用一个实体AI设备(*Memetic Mixer* (McNamara等, 2025 (https://arxiv.org/html/2607.24753#bib.bib6))),并自由地将该设备融入他们的创造性实践中,与LLM交互,为期两周。作为设计探针,该设备用于探索个体如何**想要**将AI融入自己的创造性实践,以及语言和物质性如何塑造他们与LLM的交互及创造性实践。 对使用后访谈和设备交互日志的分析显示,四位参与者在反思创造性实践和AI交互时,各自使用了独特的材料语言模式和独特的时间性尺度。本研究证明了创造性实践的个体特异性,以及在与AI交互时产生的可能性和张力,贡献包括: - • 创意从业者与AI交互的深度体验定性描述。 - • 语言如何在创造性实践中作为AI的材料界面的实例。 ## 2. 背景与相关工作 ### 2.1. 语言的物质性 学术界已超越将语言视为传达思想的简单载体,转而将其理解为具身的、中介化的,并嵌入于产生具体社会和经济效应的物体与实践之中(Cavanaugh and Shankar, 2017 (https://arxiv.org/html/2607.24753#bib.bib4); Pennycook, 2024 (https://arxiv.org/html/2607.24753#bib.bib5))。这种物质性延伸至创造性实践。Jacucci 和 Wagner (2007 (https://arxiv.org/html/2607.24753#bib.bib7)) 认为,物质人工物通过其感官和表征特质支持集体创造力,并提醒人们不要仅狭隘地关注语言表达。尽管物质语言与创造性实践相关,但它在与LLM交互中的作用仍未被充分探索。 ### 2.2. 时间性与创造性 创造力和心流状态(Alameda等, 2022 (https://arxiv.org/html/2607.24753#bib.bib27); mihaly_csikszentmihalyi_creativity_1996)涉及对时间的主观体验,其中强烈专注可以重构时间体验(Van Heerden, 2016 (https://arxiv.org/html/2607.24753#bib.bib15)),并且时刻可能感觉加速、减缓或暂停(Mainemelis, 2002 (https://arxiv.org/html/2607.24753#bib.bib14))。创作过程也非线性展开,未来愿景会塑造对创作作品的修改并指导当前行动(Palani and Ramos, 2024 (https://arxiv.org/html/2607.24753#bib.bib2))。迭代而非线性的方法往往支持更具原创性的结果(Tolkamp等, 2025 (https://arxiv.org/html/2607.24753#bib.bib12)),这一模式体现在支持LLM创造力的写作工具中(chakrabarty_art_2024; Sood等, 2025 (https://arxiv.org/html/2607.24753#bib.bib48); Carrera等, 2025 (https://arxiv.org/html/2607.24753#bib.bib10); Suh等, 2024 (https://arxiv.org/html/2607.24753#bib.bib51))。 ### 2.3. 与AI的交互 大多数LLM写作工具依赖对话式提示进行解释、重写和建议(Zhou and Sterman, 2024 (https://arxiv.org/html/2607.24753#bib.bib52)),但关于非指令性界面的研究正在兴起,其中实体材料作为具身输入而非直接控制。例如,排列纸质故事元素(Han等, 2025 (https://arxiv.org/html/2607.24753#bib.bib24))、基于粘土的角色表征(Hesselbart等, 2025 (https://arxiv.org/html/2607.24753#bib.bib50)),以及用于提示图像或叙事生成的手形材料(Balasubramani, 2024 (https://arxiv.org/html/2607.24753#bib.bib25); Menon, 2024 (https://arxiv.org/html/2607.24753#bib.bib26))。最近的工作还使用实体控制来与AI交互,例如GenFrame(Kun等, 2024 (https://arxiv.org/html/2607.24753#bib.bib49)),一个带有旋钮用于修改AI生成图像的实体画框,以及*Memetic Mixer*(McNamara等, 2025 (https://arxiv.org/html/2607.24753#bib.bib6)),它使用受音频调音台启发的旋钮和推子以及物理单词磁贴,促进与LLM的具身交互。然而,将语言作为AI交互材料的界面以及它如何融入创造性实践,仍未被充分探索,我们通过使用*Memetic Mixer*作为设计探针(第2.4节 (https://arxiv.org/html/2607.24753#S2.SS4))来填补这一空白。 ### 2.4. *Memetic Mixer*作为设计探针 参见图注图2. *Memetic Mixer*,作为设计探针与四位创意从业者使用。要与之交互,将单词磁贴放置在深色矩形区域,顶部的电子屏幕会显示放置的单词(左图)以及设备对其的响应(右图)。右下角的推子代表个性特质,而上方的旋钮提供不同方式来指导LLM。*Memetic Mixer*(图1 (https://arxiv.org/html/2607.24753#S0.F1) 和图2 (https://arxiv.org/html/2607.24753#S2.F2))提供了多种与LLM交互的模式,这些模式不侧重于用户提供直接的提示交流或指令。我们简要列出设备的界面和控制项。关于设备及其设计的更详尽技术细节,请参阅 (McNamara等, 2025 (https://arxiv.org/html/2607.24753#bib.bib6); McCormack等, 2024 (https://arxiv.org/html/2607.24753#bib.bib16))。 参见图注 参见图注 图3. *Memetic Mixer*的控制旋钮(顶部)调整响应的风格、情绪、长度和模式,而个性混音器(底部)使用推子设置LLM响应的个性。#### 2.4.1. 通过实体语言交互 该设备使用物理**单词磁贴**,类似于磁性诗歌中的磁贴(Kapell and Steenland, 1997 (https://arxiv.org/html/2607.24753#bib.bib3)),为LLM提供输入。用户将单词物理放置在设备上,调整控制项,然后响应生成并显示在屏幕上(图1 (https://arxiv.org/html/2607.24753#S0.F1))。一个预定义的约120个常用英语单词和词根(例如“ly”)的集合,当放置在设备前部的矩形输入板上时,由内部机器视觉系统识别(图2 (https://arxiv.org/html/2607.24753#S2.F2))。 一系列复杂的内部提示链(Wu等, 2022 (https://arxiv.org/html/2607.24753#bib.bib32))被发送到LLM以确定响应(图4 (https://arxiv.org/html/2607.24753#S2.F4)),然后显示在设备的电子纸屏幕上。 参见图注图4. *Memetic Mixer*中通过提示链的控制和信息流示例 #### 2.4.2. 通过隐喻交互 受音频调音台(依赖旋钮和滑块等物理控制来操控声音)启发,McNamara等. (2025 (https://arxiv.org/html/2607.24753#bib.bib6)) 将此隐喻转化为塑造LLM个性、情绪、角色和响应风格的控制项。我们简要描述*Memetic Mixer*上的三组主要控制项:**个性混音器**、**滤波器与效果**,以及**系统控制项**。 #### 2.4.3. 通过语调交互 **个性混音器**(图3 (https://arxiv.org/html/2607.24753#S2.F3)),滑块上呈现二元对立,允许用户通过选择五种二元个性特质的所需“混合”来塑造LLM响应的语调。或者,用户可以通过选择代表“导师”、“闺蜜”、“会计师”和“愤世嫉俗者”角色的“个性预设”来设置偏好的社交互动风格。LLM的响应还可以通过选择四种**模式**预设,从发散模式调整为收敛式的创造性发现:*探索* (basadur_creative_2013; samira_bourgeois-bougrine_creative_2018)、*创作* (kirjavainen_deconstruction_2020; samira_bourgeois-bougrine_creative_2018)、*批判* (basadur_creative_2013; kirjavainen_deconstruction_2020) 和*精炼* (nathalie_bonnardel_creative_2018)。 最后,响应的语调可以通过**滤波器**控制项塑造,这些控制项根据年龄(婴儿到老年人)、词汇量(简单到复杂)和响应长度(单个词到短文)修改LLM响应。**效果**旋钮提供对LLM输出的社会性和情绪相关方面的进一步控制。这些包括:**道德**,从善良到邪恶;**痛苦**程度;**政治**,从极右到激进左派;以及最后的**讽刺**控制项。 ## 3. 方法 我们使用便利采样招募了四位创意从业者,并邀请他们在两周内与设备共同生活和工作。每位参与者都有不同的创造性实践,但他们都通过将语言和写作融入其实践而联系在一起。每位参与者的详细信息,包括他们对AI的初始看法以及他们如何使用*Memetic Mixer*的方法,如图5 (https://arxiv.org/html/2607.24753#S3.F5) 所示。 通过将*Memetic Mixer*作为设计探针,并将其融入参与者在家里或工作室的创造性实践中,我们旨在促发对更具体于语言物质性的AI参与模式的反思。借鉴生态学方法(Brunswik, 1956 (https://arxiv.org/html/2607.24753#bib.bib34); Chamberlain等, 2012 (https://arxiv.org/html/2607.24753#bib.bib35); Benford等, 2013 (https://arxiv.org/html/2607.24753#bib.bib36)),这使我们能够在参与者习惯的环境中检查使用情况,而不是通过简短的实验室评估。为了捕捉使用频率和控制调整模式的定量数据,设备自动记录交互,包括放置在输入板上的单词磁贴、物理控制项的移动以及LLM的响应。 研究结束时,我们进行了一小时的半结构化访谈,以了解参与者的体验。访谈被录音并转录,随同研究人员笔记。我们使用反思性主题分析(Braun and Clarke, 2022 (https://arxiv.org/html/2607.24753#bib.bib43))分析了访谈、笔记和设备日志,识别出两个关键主题:**语言作为材料**和**时间性**。这些材料共同帮助我们发展了对参与者如何使用设备以及语言如何在创造性实践中作为AI材料界面的批判性叙述。 该研究在获得我们大学人类伦理委员会的完全伦理批准后进行,参与者可以随时自由退出研究。每位参与者均同意使用其真实姓名,并因参与获得200美元礼品券。 参见图注图5. 四位生态学研究参与者,概述其创造性实践、对AI技术的先入之见、他们如何使用*Memetic Mixer*的方法以及两周研究期内与设备的总交互次数。注意:图像仅供说明用途,并非每位参与者的直接表现。 ## 4. 案例研究 结合访谈分析和设备日志数据,我们讨论每位参与者如何在创造性实践中将语言作为材料界面使用,以及与其设备交互核心的时间性。 ### 4.1. 丽贝卡 最初,丽贝卡期望将设备输出直接应用于她的小说创作,但发现这些响应需要的编辑比从头开始写作还要多。非字面的交互模式对她而言似乎是一个障碍,因为她将项目描述为已经在概念上确定了。 #### 4.1.1. 情绪与情感(语言) 丽贝卡发现设备的控制标签不清晰,但在回应语言的**情绪**时却没有歧义。当丽贝卡感受不到输出语气的联系时,她“很可能会直接拒绝它”。特定设置和响应的情绪引发了强烈反应,例如有一次让她想起“一个极度抑郁的人,简直要从悉尼海港大桥上跳下去!”经过实验,丽贝卡“找到了有效的设置”,并且“之后就没怎么改变它们”,日志数据(图6 (https://arxiv.org/html/2607.24753#S4.F6)&7 (https://arxiv.org/html/2607.24753#S4.F7))证实了这一点。丽贝卡逐渐意识到这个设备是一种创造她所说“氛围和情绪”的手段。 #### 4.1.2. 过渡(时间性) 尽管丽贝卡最初认为LLM响应中“缺乏足够的具体性”来直接应用于她的小说,但持续的参与让她能够与输出的情绪互动。接受了AI设备不适合字面语言任务后,丽贝卡解释说她会将自己的写作“与它在做的事情进行比较,然后……这有点像我在做的事情……这是那种
相似文章
LLM的最佳使用方式会是什么样?
探讨一种推测性想法:通过适应LLM的原生通信模式(例如使用神经语)来优化人类与LLM的交互,而不是强迫它们适应人类语言。
Linguistic Monoculture in LLM-Assisted Language Use
This paper introduces a mathematical framework to study how reliance on shared LLMs for writing may reduce population-level linguistic diversity, analyzing fixed, recursive, and personalized interaction mechanisms and characterizing equilibria and convergence rates.
实际环境中的多语言多模态大语言模型:面向低资源语言的构建
本教程论文概述了如何为低资源语言构建多语言多模态大语言模型,涵盖数据创建、模型对齐、微调和评估,重点提供实用方案和动手资源。
当大型语言模型发展语言:用于高效多智能体推理的符号通信
本文提出通信语言符号路由(CLSR),多个LLM智能体自主发明并演化紧凑的符号语言进行推理,相比思维链(CoT)实现3-6倍的令牌减少,同时保持准确性。
介绍一个陪伴框架,将你的LLM转变为能进行超长对话的迷人伙伴
介绍ELT-Companion,一个开源协议,用于与LLM保持连贯、引人入胜且安全的长时间对话。旨在防止在数十万token范围内出现话题漂移和幻觉。