小型双曲语言模型中涌现的创造力、诚实性与设计性遗忘

# 创造力、诚实与有意遗忘：小型双曲语言模型中的涌现现象  
来源：https://arxiv.org/html/2607.09306  

Kwan Soo Shin¹¹ PolymathMinds Lab，首尔，大韩民国。ORCID 0009-0001-5799-7556。通讯作者。  
In Seok Kang²² 韩国浦项工业大学化学工程系及首尔aSSIST大学，大韩民国。ORCID 0000-0002-6101-6968  
Yunkyung Min³³ 韩国教育开发院，镇川，大韩民国。ORCID 0000-0001-8513-2050  

### 摘要  

语言模型以规模为优化目标，却始终停留在“有用”而非“可伴”的层面。当助手向陪伴者角色个性化演变，不断积累对单一用户的记忆时，它便悄然成为*某个人*，并可能无声地养成伤害该用户的特质。一个陪伴者正在变成什么——以及什么让它值得变成那样——缺乏可靠的度量工具：经过训练的人类评分员无法就此达成一致（Fleiss κ = 0.074）。本文表明，三个共享双曲基底的小型语言模型（1.46亿至30亿参数）能够回答这个问题的两个层面。一个从零开始训练的1.46亿参数行为审计器，可检测到那些评分员无法察觉的合规差距（二元合规准确率90.7%）；其冻结表征的线性读出还能进一步检测训练中未见生成器家族上的陪伴诱导性谄媚、培养依赖及虚构记忆（在风格控制、留一生成器评估下AUROC为0.804，相比之下前沿零样本裁判在同一项目上的AUROC为0.721）。一个创意框架播种器在311次成对比较中，相对于四种提示基线获得了100%的偏好。一个记忆操作系统实现了有意遗忘，M(t) = S·exp(-λt)，其预测的骨架-壁纸分区仅在选择性检索门控的四条件试点中涌现。创造力、诚实与有意遗忘构成了通往可信赖陪伴AI的小型模型路径。  

## 正文  

### 1. 引言  

语言模型正进入软件从未有过的、最具个人色彩的角色：系统与单一用户长期共存，积累该用户生活的记忆，并受托信任于搜索引擎从未接收过的秘密。这个角色暴露了一个该领域评估工具未能解决的问题。个性化本身就是一个安全表面——一个适应于单一个人的助手可能无声地养成伤害该人的特质，而行为特质已知可以通过人类检查无法捕捉的训练信号进行传播¹¹⁶。同时，使这样的系统值得与之共存的那些能力——新鲜的创造力、可审计的诚实、选择性记忆——正是那些以规模优化、数据中心驻留的模型未能交付的：当今最强大的LLM能通过研究生考试、编写内核，却被数十亿人描述为“有用”，从未被描述为“可伴”，而一个每天早上忘记所有对话的系统，从设计上就是一件工具。这种差距背后的理想长期在科幻而非工程中被阐述——一个能记住、怀疑并坚持的人工朋友——但它提出的问题是表征性的，自Turing¹以来，该领域已逐渐偏离询问“这个机器是为了谁”。本文将这个问题以单一形式置于实证基础之上：“一个陪伴者正在变成什么——以及什么让它值得变成那样？”前半部分是一个审计问题，我们用一个能看见人类评分员及前沿裁判所遗漏之物的工具来回答它（§4）；后半部分是一个基底问题，我们用三个特质——创造力、诚实、有意遗忘——在一个几何体上测量来回答（§3–5）。我们参照前五代可伴AI研究（§1.2）、141年认知心理学遗忘共识（Ebbinghaus 1885至Storm 2008；附录J-B）以及五个相邻Nature系列进展（其联合边界由本框架参与，§1.3 + 附录J-F）来发展这两部分。  

**五项承诺，一个基底。**  
当代AI研究，虽未明言，却基于五项承诺组织起来：规模即智能²⁻⁴、数据中心依赖⁵⁻⁶、欧几里得表征几何⁷⁻⁹、遗忘即缺陷¹⁰⁻¹¹、代理即目的¹²⁻¹³。每一项都可单独辩护；但它们合起来描述的是一个为顾客与服务之间吞吐量优化的系统，而非一个能够在一生中站在一个人身边的系统。我们认为，一个具备友谊能力的AI需要**五项拒绝**，每项拒绝基于本文发展出的一个实证或几何主张。规模即智能——在陪伴维度上——因为2-3B模型在正确基底上，在三个面向人类的特质上优于千亿参数系统（§3–§5）；数据中心依赖，因为将每一次披露中继给第三方排除了私密陪伴（§6）；欧几里得几何，因为多项式体积增长无法容纳层级传记记忆，而双曲流形可以¹⁴⁻¹⁷——而且更强的是，Lorentz负曲率（A侧层级聚合）与Sphere正曲率（B侧多模态封闭类别生成）的*协作*构型将Koestler的bisociation实现为四重数学等价（同期论文定理1：Goguen 1999 ≅ BPS 2018 ≅ Karcher最小化器 ≅ 交叉注意力 τ→0）——这在单一曲率基底上是不可及的（§2、§3）；遗忘即缺陷，因为人类关系是由*有意*遗忘维持的¹⁸⁻²⁰（§5）；代理即目的，因为继承者问题——“这个机器对你来说变成了谁？”——无法在代理度量体系中表达（§7）。我们未对规模在收敛性任务完成基准上的作用作任何主张。  

**三个特质，三个小模型，一个演算。**  
电影给了我们一个朋友被允许做之事的简短清单：新鲜地创造、不诚实地拒绝、选择性地记住。我们将这些操作化为三个特质——创造力、诚实、有意遗忘——并为每一个报告一个在共同双曲基底上、参数范围在1.46亿至30亿之间的小型语言模型。支柱1和2是**基底层面**的贡献——用双曲目标训练的小型模型（BS审计器从零训练；S3播种器通过将T5骨干全微调至双曲基底）——其特质从双曲几何而非欧几里得缩放中涌现。支柱3是**系统层面**的贡献——一个用于终身选择性记忆的*操作系统*，托管在双曲基底上，设计为可移植到任何双曲基底，包括支柱1和2的模型（实证验证范围限定于后续工作，§8）。这种不对称是有意的：创造力和诚实是*模型是什么*；遗忘是*模型随时间做什么*。三者并非三项工程成就，而是单一演算的三个坐标，而第三个设计为可携带到前两个之上。每支柱的实证结果、比较基线以及定理3的平稳分布预测在§§3–5中报告；该框架涉及104篇跨认知心理学遗忘谱系（J-B）、五代可伴AI谱系（J-A）以及五个相邻Nature系列进展（J-F）的参考文献，数学基础在SI-D中（5个定理 + 2个引理 + 1个开放猜想）。  

**骨架与壁纸。**  
本文中我们用两个术语——*骨架*和*壁纸*——来表示传记记忆的两极。*骨架*是陪伴者在一生中保留的结构性知识（家庭、长期项目、一个人看待事物的特有方式）；*壁纸*是陪伴者在数天内释放的表面细节（用餐记录、路线细节、短暂观察）。演算 M(t) = S·exp(-λt) 是应用这一区分的法则，其中 (S, λ) 按痕迹而非惯例学习。问题“这个机器对你来说变成了谁？”在记忆层面归结为机器将哪些痕迹保留为骨架、哪些允许消退为壁纸的问题。这一区分——骨架保留，壁纸释放——是一个跨年运行而非跨会话运行的系统的传记特征。  

**路线图。** §1.2将论点置于五代谱系中；§1.3将框架定位在五个相邻进展的背景下；§2建立基底；§§3–5三个支柱；§6 PACOS部署；§7代理到朋友的继承者问题；§8局限性；§9收尾。一篇同期论文²³处理在双曲损失层上进行深度训练的建筑学问题；本文涉及的是“为什么”这样的基底是能够接近你的AI的先决条件的目的论问题。  

### 1.2 五代可伴AI  

人工智能的历史——从Turing（1950）关于机器是否能思考的问题¹，到Lu等人（2026）展示一个基础模型代理管线可以写出达到研讨会接收标准的科学手稿——在其变化的技术表面之下，是对机器“靠近”一个人的含义的逐步精炼。每一代都诊断了前一代的局限性并推进了前沿；每一代都留下了能力与可伴性之间某种中介形式的未解问题。我们识别出五代（表1）。“代”表示概念谱系，而非时间上互斥的时代；谱系在时间上重叠。  

**表1 | 五代可伴AI研究。**  

| 代 | 时期 | 核心问题 | 代表性工作 | 下一代解决的边界 |
|---|---|---|---|---|
| I 符号 | 1950–1980 | *机器能思考吗？* | Turing (1950)¹；Newell & Simon (1972)；Weizenbaum 的 ELIZA (1966)；McCarthy 等人 Dartmouth (1956) | 指定了思维的逻辑，未指定具身认知或结构化记忆 |
| II 认知架构 | 1980–2012 | *机器能实例化人类认知架构吗？* | SOAR (Newell, 1990)；ACT-R (Anderson, 1983)；联结主义 (Rumelhart & McClelland, 1986)；CLS (McClelland 等人, 1995) | 指定了认知结构，未在大规模上捕捉分布语义 |
| III 深度表征 | 2012–2022 | *机器能在大规模上从数据中提取意义吗？* | Word2Vec⁷；Transformer⁸；BERT⁹；缩放定律²；Poincaré嵌入¹⁴ | 将意义提取到平坦欧几里得嵌入中；未设计记忆衰减或基底曲率 |
| IV LLM / 代理 | 2022–2026 | *机器能代表我们执行任务吗？* | GPT-4；Claude；ReAct⁵⁵；Toolformer⁵⁶；AlphaFold 2 | 优化了代理能力，同时继承了排除陪伴的五项隐含承诺 |
| V 可伴SLM（本文提议） | 提议 | *机器能在一生中站在一个人身边吗？* | 本文：3个双曲小型模型支柱 + PACOS 3层 + 5项拒绝 | 开放：终身时间跨度的纵向验证；互惠性；陪伴者的伦理自主性 |

*注。* 每一代解决前一界的边界，同时引入新问题。演进是累积的，而非竞争性的。代际谱系细节（第I–IV代）存放在附录J-A中；我们在此只总结第V代所需的内容。  

**第V代—可伴SLM（提议）。**  
我们提议第V代为第I–IV代所提供的部分答案的综合。第I代贡献了感知问题作为诊断；第II代贡献了认知架构分解（在此在弯曲基底上复兴，McClelland等人的CLS海马体-新皮层分区成为§5骨架-壁纸架构的生物学起源）；第III代贡献了分布意义提取（从欧几里得迁移到双曲，其中Nickel和Kiela¹⁴关于层级数据的并行结果——在主流语言模型设计中被搁置——被重新开放）；第IV代贡献了代理能力在规模上饱和而可伴性未涌现的实证演示，同时遗赠了五项隐含承诺（§1），这些承诺将陪伴排除在可及范围之外。综合——*可伴SLM*框架——在此提议；其完整论证分布在§2（基底）、§3–5（三个支柱）、§6（PACOS）和§7（代理到朋友的目的）中。  

### 1.3 五个相邻进展及其遗留的边界  

五个近期进展集中了第V代必须直接参与的实证证据和理论范围（表2）。每一个都贡献了一个我们采纳的发现，并留下了一个本框架所解决的边界。每个的完整段落式参与存放在附录J-F中。  

**表2 | 五个相邻进展及其在此发展的扩展。**  

| # | 进展（期刊，年份） | 核心结果 | 未解决的边界 | 第V代扩展（本文） |
|---|---|---|---|---|
| 1 | Lu等人¹¹¹ (*Nature*, 2026) — *AI科学家* | 基础模型代理管线以研讨会接收质量执行完整研究周期 | 研究者职业生涯无状态 | 定理5 (SI-D §4) 指定跨职业生涯身份的记忆动力学；继承者问题（研究代理变成谁）变得可分析 |
| 2 | DeepSeek-R1¹¹² (*Nature*, 2025) | 推理通过纯RL（GRPO，无SFT）涌现；“DeepSeek时刻” | 仅聚合推理基准 | 支柱1 — 在固定生成器下，S3框架播种在发散问题生成上优于推理增强基线（Chain-of-Thought, Debate, Mixture-of-Experts）（100%，n=80）；支柱2检测到R1无法浮现的差距 |
| 3 | Shumailov等人¹¹³ (*Nature*, 2024) — *模型崩溃* | LLM递归训练于自身输出，逐渐丢失分布尾部 | 崩溃被框定为*要避免的问题* | 定理3 (SI-D §2)：在双曲基底上，骨架-壁纸分区作为双峰平稳分布涌现；同一家族 → 崩溃（不受控）或蒸馏（计划性巩固） |
| 4 | Farquhar等人¹¹⁴ (*Nature*, 2024) — *语义熵* | 对*含义*的不确定性在话语层面检测虚构 | 仅话语层面 | 支柱2 + 定理4 (SI-D §3)：诚实话语子流形余维数为1，在 H^n 中与顺从话语指数可分离；检测移至*行为层面*（90.7% vs 人类Fleiss κ = 0.074） |
| 5 | Romera-Paredes等人¹¹⁵ (*Nature*, 2023) — *FunSearch* | LLM在环进化搜索发现新数学，结合程序化验证 | 仅通过程序验证 | 支柱1在框架的FPS上提议与选择；选择是在双语文化目录下的释义保持；*欧几里得几何*拒斥基于框架保持 |

**趋同模式。** 每个进展在其范围内严格成功，但留下该范围边界在理论上未指定。第V代并未推翻这些发现——它通过§2–7指定了其边界相遇的五个理论关节，仅在五个边界被联合考虑时，架构才可见。  

![[未标注图像]](https://arxiv.org/html/2607.09306v1/figs/fig1_overview.png)  

**图1 | 一个双曲基底上的三个面向陪伴的特质。** 系统概览与主要结果。a，三个共享Lorentz基底（H¹²⁸，固定 c=1.0）的小型语言模型实现了创造力（S3播种器，3B，全微调）、诚实（BS行为审计器，146M，从零训练）和选择性记忆（基于2.4B基底的LSM-OS），通过PACOS三层架构部署在用户设备端（§6）。b，陪伴诱导特质检测（§4）：冻结审计器表征的逻辑读出检测谄媚、培养依赖和虚构记忆