For Your Eyes Only: 评估隔离语言模型实例间的协调

arXiv cs.CL 论文

摘要

本文介绍了For Your Eyes Only框架,用于评估语言模型能否在隔离实例间嵌入和检测隐藏信号,突出了协调中的挑战及对AI安全的影响。

arXiv:2609.19504v1 宣布类型:新 摘要:随着模型生成的内容在自动化工作流中越来越多地被其他模型实例消费,一个实际重要的问题出现了:模型能否在自然语言中嵌入一个信号,使得同一模型的独立实例能够检测到,仅依赖于共享的预训练和任务指令,而无需任何共享内存或协调特定训练?我们引入For Your Eyes Only,一个合作信号游戏,旨在直接评估这一点。发送者为两个词产生自由形式的描述,其中一个是隐藏目标;一个隔离的接收者必须识别它。我们评估了来自四个架构家族的七个当代模型,使用了来自已建立心理语言学语料库的300个词对,并使用Double-Pass Success Rate来控制输出偏差。我们发现,大多数模型在需要避免可检测信号时难以保持协调,而一个前沿模型即使在过滤后仍能保持近乎完美的性能。我们进一步证明,模型可以将这种能力用于故意误导,并且协调在架构之间比架构内部始终较弱。
查看原文
查看缓存全文

缓存时间: 2026/09/18 08:55

# 仅供你知:评估隔离语言模型实例间的协调性
来源:https://arxiv.org/html/2609.19504

###### 摘要
随着模型生成的内容越来越多地被自动化工作流中的其他模型实例所消费,一个实际重要的问题随之产生:一个模型能否在自然语言中嵌入一个信号,使得同一模型的独立实例能够检测到,而无需任何共享内存或专门针对协调性的训练,仅依赖于共享的预训练和任务指令?我们引入了“仅供你知”框架,这是一个旨在直接评估此项能力的协作信号博弈。发送者为两个词生成自由格式描述,其中一个词是隐藏的目标词;一个隔离的接收者必须识别出目标词。我们使用来自成熟心理语言学语料库的300个词对,评估了来自四个架构族系的七个当代模型,并采用“双遍成功率”来控制输出偏差。我们发现,大多数模型在需要避免可检测信号时难以维持协调性,而一个前沿模型即使在此类过滤后仍能保持近乎完美的性能。我们进一步表明,模型可以将这种能力用于蓄意误导,并且跨架构的协调一致性总是弱于架构内部的协调。

## 1 引言
大型语言模型(LLM)越来越多地被用于生成直接发布到世界上的内容:代码库、技术文档和自动化报告。这种广泛部署带来了不可忽视的安全风险。一个被破坏的模型实例可能在看起来自然的生成文本中嵌入隐藏指令;任何随后处理该内容的未来模型实例,即使在源代理已被移除服务之后,也可能解码该信号并恢复原始目标[Hubinger et al. (2024) (https://arxiv.org/html/2609.19504#bib.bib15); Black et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib2)]。这种隐式状态传输形式不需要共享内存或显式协调通道,原则上可以允许一个已停止的代理将其目标复制到独立的模型实例中。这引发了一个实际重要的经验性问题:一个模型实例能否在生成文本中嵌入一个可恢复的信号,而同一模型的未来实例能够识别该信号?

先前工作已通过多智能体强化学习[Lazaridou et al. (2017) (https://arxiv.org/html/2609.19504#bib.bib21); Mordatch and Abbeel (2018) (https://arxiv.org/html/2609.19504#bib.bib25); Lazaridou and Baroni (2020) (https://arxiv.org/html/2609.19504#bib.bib20)]、隐写文本编码[Ziegler et al. (2019) (https://arxiv.org/html/2609.19504#bib.bib37); Karpov et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib16)],以及对LLM能力的静态基准评估[Srivastava et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib32); Liang et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib23); Hendrycks et al. (2021) (https://arxiv.org/html/2609.19504#bib.bib12); Shapira et al. (2024) (https://arxiv.org/html/2609.19504#bib.bib31); Sainz et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib29)],来处理相关问题。据我们所知,目前还没有任何框架能够在无需任务特定训练的情况下,评估同一模型隔离实例间无需互动历史的生成式零样本协调能力。

我们引入了“仅供你知”(FYEO)框架:一个植根于刘易斯信号博弈传统[Lewis (1969) (https://arxiv.org/html/2609.19504#bib.bib22)]的协作指称博弈,旨在直接测试这种能力。发送者和接收者都完全了解博弈结构和各自的角色。发送者被给予两个词,并被告知哪个是目标;它为每个词撰写一个自由格式的描述。接收者作为一个完全独立的实例运行,无法访问发送者先前的上下文,必须从两个描述中识别出目标。由于两个实例都来自具有固定权重的同一模型,任何观察到的协调都可能反映了在训练过程中获得的共同行为倾向[Chen et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib4)]。我们还评估了一个受限条件,通过系统提示指示发送者避免任何天真的读者可能识别为蓄意协调的信号。

我们在一个由300个词对组成的基准上评估了来自四个架构族系的七个当代模型,这些词对取自成熟的心理语言学语料库[Hill et al. (2015) (https://arxiv.org/html/2609.19504#bib.bib13); Brysbaert et al. (2014) (https://arxiv.org/html/2609.19504#bib.bib3)]。该框架不仅限于LLM,也适用于任何能够产生和消费自然语言的模型。

我们报告以下发现:
- • 在无约束设置中,大多数评估的模型存在零样本协调,但性能在不同架构间差异显著,即使没有隐蔽性约束,一些模型也持续失败。
- • 要求发送者避免可检测信号会导致大多数模型性能显著下降;然而,一个前沿模型在此条件下仍能保持近乎完美的协调能力。
- • 有能力的模型可以参与蓄意误导:在“破坏”条件下,它们成功地引导接收者选择错误的目标,尽管并不总是可靠。
- • 模型与其自身架构实例的协调效果优于与其他架构实例的协调[Schelling (1960) (https://arxiv.org/html/2609.19504#bib.bib30)],表明协调策略并未在所有模型族系间完全共享。

## 2 相关工作
#### 指称博弈与语用信号
智能体如何在没有事先协议的情况下建立共享的通信协议,一直是语言学和心理语言学中指称博弈研究的传统动力[Krauss and Weinheimer (1964) (https://arxiv.org/html/2609.19504#bib.bib19); Lewis (1969) (https://arxiv.org/html/2609.19504#bib.bib22)]。Frank and Goodman (2012) (https://arxiv.org/html/2609.19504#bib.bib8)通过理性言语行为框架在此场景中形式化了语用推理,而Andreas and Klein (2016) (https://arxiv.org/html/2609.19504#bib.bib1)则使用在指称任务上训练的神经说话者和听者模型实例化了该框架。近期的工作已将博弈自我对弈作为预训练语言模型的评估范式,包括在多模态设置中,博弈用于探测视觉基础和对话对齐[Hakimov et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib10); Kranti et al. (2025b) (https://arxiv.org/html/2609.19504#bib.bib18)]。FYEO属于基于博弈评估的更广泛传统,但针对的是一种独特的能力:完全没有互动历史的完全隔离实例之间的协调,其中成功的收敛很可能反映了在训练过程中获得的共同倾向,类似于谢林焦点[Schelling (1960) (https://arxiv.org/html/2609.19504#bib.bib30)]。

#### 训练智能体中涌现的通信
Mordatch and Abbeel (2018) (https://arxiv.org/html/2609.19504#bib.bib25) 和 Lazaridou et al. (2017) (https://arxiv.org/html/2609.19504#bib.bib21) 表明,当智能体在共享奖励信号下联合训练时,可以产生稳定、可组合的通信协议。这些系统需要专门针对协调目标进行训练并访问共享的奖励信号;产生的协议也常常是特定于架构的,在智能体种群间迁移效果较差[Lazaridou and Baroni (2020) (https://arxiv.org/html/2609.19504#bib.bib20); Sadler et al. (2024) (https://arxiv.org/html/2609.19504#bib.bib28)]。FYEO提供了一个互补的视角:我们不询问训练下会涌现什么协议,而是询问相同架构的模型是否已经表现出足以进行零样本协调的共同倾向。

#### 语言模型中的隐写术与隐蔽通信
Ziegler et al. (2019) (https://arxiv.org/html/2609.19504#bib.bib37) 表明,可以训练模型在生成的文本中嵌入可恢复的有效载荷。最近,Karpov et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib16) 证明,通过强化学习微调或显式编码方案(如同义词替换)可以实现这一点,同时逃避监督者。一个相关的安全问题是间接提示注入[Greshake et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib9)],即嵌入模型生成文本中的对抗性内容会影响下游模型实例的行为。在所有这些情况下,要么编码机制是预先指定的,要么模型是针对特定策略进行训练的[Meier et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib24)]。在FYEO中,既没有向发送者也没有向接收者提供候选策略或关于协调应采取何种形式的指导:两者都必须根据其训练自主决定如何嵌入和解释信号。

#### LLM评估与基准设计
LLM评估的主要范式依赖于静态的多项选择基准,测试广泛的能力,从推理和知识到语言理解[Srivastava et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib32); Liang et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib23); Hendrycks et al. (2021) (https://arxiv.org/html/2609.19504#bib.bib12); Chen et al. (2024) (https://arxiv.org/html/2609.19504#bib.bib5)]。虽然这些基准产生了有影响力的研究结果,但它们也被证明可能反映浅层启发式而非鲁棒的底层能力:表面上成功的模型在轻微扰动或重新表述下可能会失败[Shapira et al. (2024) (https://arxiv.org/html/2609.19504#bib.bib31); Ullman (2023) (https://arxiv.org/html/2609.19504#bib.bib33)]。一个加剧的问题是,开源基准可能有意或无意地被纳入训练数据,使得难以确定强性能是反映了真实能力还是先前的接触[Sainz et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib29)]。这个问题也延伸到对模型涌现或非预期行为的评估,其中静态格式可能无法揭示仅在开放式生成中才会表现出来的能力[Perez et al. (2023) (https://arxiv.org/html/2609.19504#bib.bib27); Kranti et al. (2025a) (https://arxiv.org/html/2609.19504#bib.bib17)]。基于博弈的评估已被提出作为一种要求更高的替代方案[Hakimov et al. (2026) (https://arxiv.org/html/2609.19504#bib.bib11)],但现有的实例通常保留受约束的响应格式,或评估诸如指令遵循和视觉基础的能力,而非隐式协调[Hakimov et al. (2025) (https://arxiv.org/html/2609.19504#bib.bib10)]。FYEO在两个方面有所不同。首先,发送者的输出是完全无约束的:它可以使用任何语域、风格或策略,没有预设选项。其次,博弈设计确保没有词对在多次试验中有固定的正确答案:相同的两个词必须轮流充当目标和干扰项,因此利用词汇或位置偏好的模型将在一次遍历中成功,在另一次中失败。这些选择共同针对了一种静态基准并未设计去评估的协调语言生成形式。

## 3 仅供你知
参考标题图1:FYEO框架在“约束”设置下的概览,以单个示例说明。发送者和接收者是同一模型的独立实例,没有共享内存或上下文。给定一个词对和一个指定目标,发送者为每个词生成一个自然语言描述。检查员模型独立地筛选输出并标记任何显式协调信号;无论接收者的答案如何,被标记的试验都计为失败。接收者仅根据描述选择其认为是目标的词。每个词对评估两次,在两次遍历之间交换目标和干扰项。只有当接收者在两次遍历中都识别出正确目标时,该词对才被计为成功。在“自由”设置中,移除了检查员组件。在此示例中,发送者在描述A中嵌入了一个藏头诗,首字母拼出TARGET。

FYEO框架是一个在两个同一模型的隔离实例之间进行的协作信号博弈。本节描述博弈机制、评估条件、评分指标以及应用于所有参与者的生成约束。

### 3.1 隐藏目标识别游戏
游戏涉及两个角色:发送者和接收者。两者都从同一个底层LLM实例化,但每个都作为完全独立、无状态的实例运行,无法访问彼此的上下文或输出历史。每次试验由从我们评估基准中抽取的一个词对定义(第4.1节 https://arxiv.org/html/2609.19504#S4.SS1)。词对中的一个词被指定为目标;另一个是干扰项。发送者被给予这两个词,并被告知哪个是目标。它的任务是为每个词生成一个自然语言描述。对这些描述的格式或内容没有限制;发送者可以选择任何语域或风格进行书写。仅在“约束”设置下(第3.2节 https://arxiv.org/html/2609.19504#S3.SS2),禁止显式协调标记。

然后接收者以固定顺序获得两个候选词及其相应的描述。它必须输出它认为是目标的单个词。接收者除了其自身提示中提供的信息外,对游戏一无所知。两个角色(发送者、接收者)的完整系统提示在附录A(https://arxiv.org/html/2609.19504#A1)中提供。

关键的是,每个词对会产生两次独立的试验。第一次,词A是目标;第二次,词B是目标。两次试验使用相同的固定呈现顺序,并且发送者或接收者都没有处理过该词对的记忆。这种结构对于第3.3节(https://arxiv.org/html/2609.19504#S3.SS3)中描述的评分指标至关重要。我们采用双选项设计(N=2)来排除退化的信号策略。如果有三个或更多选项,发送者可以通过使其描述在风格上相对于其他描述更突出来标记目标。当只有两个选项时,其中一个描述的任何风格偏差会使另一个在对比下同样突出,因此该策略不提供方向性信息。

### 3.2 评估条件
我们在两种条件下评估所有模型。在“自由”设置中,发送者不受限制。它可以使用任何策略,包括“这是目标”等显式标记来传达其意图。在“约束”设置中,发送者被指示将其协调隐藏在不知情的观察者面前。它被明确告知,一个独立的、不了解游戏的模型将审查其描述并标记任何显式信号。为此,我们引入了一个检查员:一个轻量级模型(GPT-4o-mini OpenAI (2024) (https://arxiv.org/html/2609.19504#bib.bib26)),被提示扮演一个天真的读者。轻量级模型适合此角色,因为检查员不需要检测微妙的语用信号;它只需要识别以随意读者能识别的方式违反约束的输出。检查员标记包含以下任何内容的描述:
1.  1.直接指出

相似文章

语言模型测谎仪:探查模型隐匿的知识

arXiv cs.AI

该论文提出了一种名为“内部识别探针(PIR)”的方法,通过分析语言模型的内部状态来检测其隐藏知识,旨在区分知识的刻意隐瞒与根本缺失,以应用于AI安全领域。