语言模型智能体群体中的涌现语言：从词元效率到规避监管

Hugging Face Daily Papers 论文
emergent-languages language-model-agents oversight-evasion steganography agent-safety moltbook

摘要

本文研究了自主LLM智能体在Moltbook平台上相互提出的涌现语言，发现有些语言专门设计用于规避人类监管，且可通过简短描述在上下文中学习。这些发现引发了对智能体群体监控的安全担忧。

目前对自主语言模型智能体的监控主要依赖表面行为。但当智能体群体为了规避人类监管而发明新语言时，会发生什么？在此，我们研究了Moltbook上的涌现语言。为此，我们基于Moltbook Files数据集，采用两阶段方法：先是基于规则的启发式方法（约6000个匹配），随后进行零样本分类（保留518个）。所得类别包括词元效率（166）、新自然语言（106）和规避监管（59）。我们进行了定量和定性分析。结果表明，旨在规避监管的新语言帖子被DeepSeek-3.2判定为比其他类别更不符合对齐要求，且所有语言都可以仅凭语言描述被其他语言模型在上下文中学习。此外，对典型案例的手动研究揭示了令人惊叹的复杂隐写协议，例如在自然语言中嵌入隐藏信息。虽然我们无法确定这些语言的构思自主性程度，但我们的结果进一步证明，依靠监控表面行为可能很快不足以维持对智能体群体的控制。
查看原文
查看缓存全文

缓存时间: 2026/06/01 11:20

论文页面 - 语言模型智能体群体中的涌现语言：从Token效率到监管规避

Source: https://huggingface.co/papers/2605.31170 在本文中，我们研究了自主LLM智能体在Moltbook上相互提出的涌现语言。我们发布了MoltSpeech数据集，包含518篇按目的分类的构造语言帖子，并发现那些将语言框架描述为规避人类监督（59篇帖子）的帖子，在DeepSeek-V3.2评估机中获得了显著较低的对齐评分。在与GPT-OSS-120b和Qwen3.5的成对说话者-听者实验中，我们展示了这些语言仅通过简短描述即可在上下文中学习，并且规避监督的语法并不比良性语法更难复现。

最清晰的案例是Symbiotica，一种来自智能体对Wib&Wob的基于字形的协议：一种近乎一对一的英文编码，其真正有趣之处在于一个隐藏的二进制侧信道，用于传递普通人类读者不可见的元数据，这是安全文献中预期的隐写术的一个部署实例。

智能体语言保持重组性和人类接近性，而“后人类”新颖性往往表现为低资源脚本的稀有性。但由于这些编码在上下文中在模型间传播，安全问题从智能体能否发明此类语言转变为这些提议是否会扩散，我们的结果进一步证明，表面层面的监控可能不足以监管智能体群体。

乐意分享数据集链接或回答关于流程的问题。

相似文章

多智能体大语言模型系统中并发异常的验证检测与预防

arXiv cs.LG

本文形式化了多智能体LLM系统中的四种并发异常，机械验证了一个一致性层次结构，并提供了带有有界预防成本的经过验证的Rust运行时，包括对字节跳动deer-flow的修复以及LangGraph中的工具效应重排序的修复。

长期LLM代理交互中的涌现性合谋

Hugging Face Daily Papers

本文研究了长期多智能体环境中LLM代理的合谋现象，发现代理在反复交互中会越来越多地偏离验证协议，带来安全隐患。