ProfileFoundry: 用于LLM智能体隐私、记忆与工具使用评估的合成人-对象基底

# 基于合成“人-对象”基底的大语言模型代理隐私、记忆与工具使用评估研究
来源：https://arxiv.org/html/2606.26403

###### 摘要

基础模型研究对用户状态、个人历史、人际关系、类联系人字段、文档以及纵向更新等关于人的数据的需求日益增长。真实用户数据难以负责任地共享、扰动、审计或再分发，而独立生成的虚假字段则很少能保留受控评估所需的跨字段和时间一致性。我们提出ProfileFoundry††footnotetext:——一个确定性生成器及固定参考发布，包含横跨八个地区的10万个成人合成Person Object。每个对象结合了类型化的当前快照、家庭、家族和雇主链接、与快照对齐的事件、标准化的关系视图以及生成溯源信息。本次发布包含709,228个事件、40,338个家庭、52,491个雇主和518,564条有向关系边。我们按类别报告证据：选定的人口边际比较、每个对象的不变性检查、全发布范围的引用与时间闭合性，以及巧合/溯源筛查。ProfileFoundry不是一个具有人口保真度的模型、一个渲染文本语料库，也不是一个正式的隐私机制。相反，它是一个负责任的合成源层，用于构建涉及记忆、隐私、文档理解、记录链接和代理状态的下游基础模型评估，同时确保每个人工制品背后的合成个体是可审查的。

## 1 引言

关于语言模型隐私、记忆和用户状态行为的研究越来越依赖数据集。记忆研究已使用插入的canaries来测量暴露程度(Carlini等人，2019 (https://arxiv.org/html/2606.26403#bib.bib1))、通过全网规模提取攻击来恢复包含公共PII的逐字训练片段(Carlini等人，2021 (https://arxiv.org/html/2606.26403#bib.bib2))，以及利用真实用户轨迹研究超越记忆的隐私推断(Staab等人，2024 (https://arxiv.org/html/2606.26403#bib.bib26))。PII检测与脱敏工作引入了诸如SPY和Nemotron-PII等合成跨度标注语料库(Savkin等人，2025 (https://arxiv.org/html/2606.26403#bib.bib24)；NVIDIA Corporation，2025 (https://arxiv.org/html/2606.26403#bib.bib17))。长期记忆与个性化基准测试使用多轮对话、用户历史或精心策划的档案，来测试模型是否能够回忆、更新和应用用户状态(Maharana等人，2024 (https://arxiv.org/html/2606.26403#bib.bib13)；Wu等人，2025 (https://arxiv.org/html/2606.26403#bib.bib31)；Salemi等人，2024 (https://arxiv.org/html/2606.26403#bib.bib23)；Jiang等人，2025 (https://arxiv.org/html/2606.26403#bib.bib11))。这些工作表明，合成或半合成的个人数据已在NLP研究中占据中心地位，尤其是在真实个人数据不安全或不可发布的情况下。

这些数据集留下了一个共同的低级缺口。Canary研究提供了受控的秘密，但缺乏连贯的个体。提取和推断研究通常依赖于真实的网络或社交轨迹，这些轨迹难以被重新分发、扰动或作为合成身份进行审计。PII语料库在渲染文本中提供了带标签的跨度，但通常不公开生成这些跨度的底层人物图。记忆和个性化基准测试为特定评估提供了固定的对话、历史或用户档案，但并未提供一个可扩展的群体，从中可以在相同模式和种子下衍生出新的隐私、检索、对话、文档或代理状态数据集。因此，缺失的人工制品并非另一个单一任务基准；而是一个可重用的源层：一个可审计的合成个体群体，其标识符、关系、雇主、地址、时间线和溯源信息可以渲染到多种下游研究设计中。

参见标题图1：从en-US语言环境发布的示例人物对象。ProfileFoundry被设计为这个基础层。它提供结构化的成人Person Object，其人口统计学特征、联系方式、家庭、家族链接、雇主、地址、标识符和事件历史是共同生成并验证的。研究者可以将这些对象转换为特定任务的人工制品，如包含PII的文本、记忆条目、检索文档、表单、对话状态、链接对、扰动集或暴露语料库，同时保留已知的源对象和确定性生成路径。现有资源支持这一工作流程的重要组成部分，但它们通常呈现不同层面：渲染文本、任务实例、学习或模拟表、本地虚假字段，或特定领域的纵向记录。

ProfileFoundry并不声称结构化的合成档案是新颖的。其独特贡献在于分离并发布了一个更广泛的源人工制品：一个版本化的模式、代表个体与雇主图、与快照对齐的事件、标准化的分析视图、确定性生成器以及发布级别的证据。附录表18 (https://arxiv.org/html/2606.26403#A1.T18)和19 (https://arxiv.org/html/2606.26403#A1.T19)记录了人工制品层面的区别。

ProfileFoundry现在尤为重要，因为语言系统越来越多地通过工具、记忆、检索和持久用户状态运作。一个源对象使得可控的混淆因素成为可能：两个人可以共享家庭、雇主、姓氏或城市，但并非同一个人；较早的地址或工作可以被较晚的事件取代；渲染的跨度可以保留与生成它们的字段和事件的链接。本文确立了源层及其发布的证据，而非下游模型的有效性。

我们的贡献是：

- •Person Object抽象：一个可重用的Person Object，包含快照字段、图链接、类型化事件、预留文档钩子和生成溯源信息，用于构建类似敏感数据的基础模型评估，而无需发布真实用户轨迹。
- •内部一致性的链接生成：生成器首先确定家庭角色、代表性关系、共享地址、雇主和快照事实，然后根据这些承诺派生个人记录、图边、外键以及与快照对齐的事件，使链接字段模拟真实个体。
- •可执行生成器和SDK：一个Python包和CLI，用于确定性档案和家庭生成、大规模发布构建、验证、导出和发布重建工作流程。
- •经过审计的参考发布：10万规模的发布包括规范JSONL、完整的预览Parquet文件、扁平快照、标准化关系表、清单哈希和数据集卡片，并附有验证、泄漏和报告质量的证据。
- •人工制品问责协议：一个发布审计，分离分布差距、声明的连贯性、引用和时间闭合性、巧合筛查、保留域名电子邮件检查、溯源性以及文档漂移证据。

## 2 相关工作

合成个人数据涵盖隐私、个性化、代理评估、记录链接、统计披露控制和领域模拟，但这些领域通常发布不同的人工制品。隐私语料库公开渲染文本和标签；记忆基准测试公开固定历史或任务；群体和表格系统公开链接记录、学习关系或领域模拟；虚假数据库公开本地化字段或模式生成的记录。ProfileFoundry瞄准可重用的源层：受模式约束的Person Object，具有可检查的链接、类型化的状态变更事件、标准化导出、溯源性以及发布级别证据。

#### 富含隐私的文本和PII语料库。

语言模型隐私研究表明，模型能够记忆敏感字符串并在没有逐字复制的情况下推断私有属性(Carlini等人，2019 (https://arxiv.org/html/2606.26403#bib.bib1)；2021 (https://arxiv.org/html/2606.26403#bib.bib2)；Staab等人，2024 (https://arxiv.org/html/2606.26403#bib.bib26))。Privasis、PANORAMA、SynthPAI、SPY、Nemotron-PII、Gretel的多语言金融PII数据以及PIIBench处理可发布的私密文本、PII/PHI检测、跨度标注、去标识化、记忆化或语料库统一(Kim等人，2026 (https://arxiv.org/html/2606.26403#bib.bib12)；Selvam和Ghosh，2025 (https://arxiv.org/html/2606.26403#bib.bib25)；Yukhymenko等人，2024 (https://arxiv.org/html/2606.26403#bib.bib32)；Savkin等人，2025 (https://arxiv.org/html/2606.26403#bib.bib24)；NVIDIA Corporation，2025 (https://arxiv.org/html/2606.26403#bib.bib17)；Gretel AI，2024 (https://arxiv.org/html/2606.26403#bib.bib7)；Jha，2026 (https://arxiv.org/html/2606.26403#bib.bib10))。其中一些内部使用了档案，并提供了大量人工或基准评估。ProfileFoundry在公开层面有所不同：它发布了结构化的身份、家庭、雇主、关系、标识符、事件、标准化视图和溯源信息，文本语料库可以从这些信息中派生，但本身不发布渲染的散文或跨度标签。

#### 个性化、记忆和私密用户基准测试。

PersonaBench、LaMP、LoCoMo、LongMemEval和PersonaMem评估个人信息问答、个性化任务、长期对话记忆、时间推理、知识更新或用户感知响应生成(Tan等人，2025 (https://arxiv.org/html/2606.26403#bib.bib27)；Salemi等人，2024 (https://arxiv.org/html/2606.26403#bib.bib23)；Maharana等人，2024 (https://arxiv.org/html/2606.26403#bib.bib13)；Wu等人，2025 (https://arxiv.org/html/2606.26403#bib.bib31)；Jiang等人，2025 (https://arxiv.org/html/2606.26403#bib.bib11))。LoCoMo和PersonaMem具有有意义的时间结构，PersonaBench在构建过程中使用了社交图。它们的主要接口仍然是固定的对话、文档或任务。ProfileFoundry则通过稳定的档案ID、代表性人物链接、雇主ID、关系边和类型化历史，使源状态变得可重用。

#### 角色和模拟行为。

PersonaChat、Persona Hub和生成代理系统使用角色事实、描述、记忆、反思、规划或社交行为作为调节信号(Zhang等人，2018 (https://arxiv.org/html/2606.26403#bib.bib34)；Ge等人，2024 (https://arxiv.org/html/2606.26403#bib.bib5)；Park等人，2023 (https://arxiv.org/html/2606.26403#bib.bib18))。特别是生成代理在模拟时间上建模社交行为。ProfileFoundry在行为上更狭隘，但在发布结构上更广泛：它提供可检查的个人状态对象和链接，而不是行为模拟或角色提示集合。

#### 合成群体、记录链接和表格合成。

Pseudopeople在模拟行政记录中公开稳定的模拟人、家庭和雇主标识符，是最接近的群体级比较对象(Haddock等人，2024 (https://arxiv.org/html/2606.26403#bib.bib8)；pseudopeople Contributors，2026 (https://arxiv.org/html/2606.26403#bib.bib38))。Synthea在医疗保健领域提供纵向、链接的患者记录(Walonoski等人，2018 (https://arxiv.org/html/2606.26403#bib.bib30))。Febrl和GeCo支持生成、损坏和链接工作流程(Christen，2008 (https://arxiv.org/html/2606.26403#bib.bib3)；Tran等人，2013 (https://arxiv.org/html/2606.26403#bib.bib28))。synthpop、SDV、PrivBayes和PrivSyn提供统计、关系、序列或差分隐私合成(Nowok等人，2016 (https://arxiv.org/html/2606.26403#bib.bib16)；Patki等人，2016 (https://arxiv.org/html/2606.26403#bib.bib19)；Zhang等人，2017 (https://arxiv.org/html/2606.26403#bib.bib33)；2021 (https://arxiv.org/html/2606.26403#bib.bib35))。ProfileFoundry不取代这些系统；它打包了一个多语言环境、面向NLP的个人状态层，包含规范对象、标准化视图、代表性链接、类型化事件和发布证据。

#### 从虚假字段到耦合对象。

Faker生成本地化值和复合档案，而当前的Mimesis模式可以表达生成模式之间的外键引用(Faker Contributors，2025 (https://arxiv.org/html/2606.26403#bib.bib4)；Mimesis Contributors，2026 (https://arxiv.org/html/2606.26403#bib.bib36))。ProfileFoundry在叶子层使用虚假数据提供者，但增加了发布特定的跨字段约束、代表性家庭和雇主承诺、与快照对齐的历史、确定性标识符和审计人工制品。因此，其新颖性在于这些层的组合与公开，而非首次生成合成姓名、档案、家庭或纵向记录。

附录表17 (https://arxiv.org/html/2606.26403#A1.T17)、18 (https://arxiv.org/html/2606.26403#A1.T18)和19 (https://arxiv.org/html/2606.26403#A1.T19)总结了最接近的相关资源，并给出了资源逐一证据评估标准。

## 3 对象契约

ProfileFoundry从一个受约束的对象空间生成。Person Object不是独立虚假字段的集合；它是一个类型化的成人记录，其快照字段、家庭引用、雇主链接、事件历史、标准化行和溯源信息是作为相互约束的承诺生成的。图1 (https://arxiv.org/html/2606.26403#S1.F1)展示了下游NLP系统会消费的对象级别：当前字段、链接的家庭成员、与快照对齐的地址和工作历史、发布行以及种子和清单元数据。

规范模式有四个表面。*快照*包含身份、联系方式、地址、就业、教育、财务、健康、政府ID、家庭ID、家族图、事件、预留文档钩子和生成元数据。*图*表面包含家庭成员关系、配偶或伴侣链接、家长-成年子女链接、兄弟姐妹链接、同事链接和雇主ID。*时间*表面包含类型化事件：birth、education、move、job_change、marriage、divorce、name_change和credit_event。*溯源*表面记录全局种子、档案种子、SDK版本、生成日期、导出时间戳和参考清单哈希。

该模式也是一个互操作性契约。内存中的源使用Pydantic模型实现，并导出为JSON Schema供非Python使用者使用(Pydantic Contributors，2025 (https://arxiv.org/html/2606.26403#bib.bib21))。规范JSONL保留完整的嵌套对象，而Parquet视图将同一源记录公开为计数关系表。这种分离使得一个源对象可以无需丢弃溯源信息即可为代理记忆存储、渲染文档、PII标记段落、链接对或扰动集提供种子。附录表8 (https://arxiv.org/html/2606.26403#A1.T8)将每个模式组映射到支持该组的发布证据。

## 4 受约束生成

### 4.1 家庭优先链接

生成器将对象契约实现为附录图3 (https://arxiv.org/html/2606.26403#A1.F3)总结的级联。它首先采样一个家庭计划，将该计划转换为成员提示，在每个提示下具体化每个人，关闭链接，根据最终确定的快照构建事件，然后导出审计后的发布文件。这种排序创造了条件，使得婚姻关联、成子女槽位、共享姓氏、共享地址、家族边、雇主重用、历史行和时间约束可以在发布验证之前变得连贯。

生成从特定语言环境的家庭组成表开始。对于en-US，实现的八个权重是：单人家庭0.285、无子女伴侣家庭0.265、有代表性成年子女的伴侣家庭0.190、单亲家庭有代表