论文页面 - 个性化幻象：LLM 如何捏造用户画像，以及为何自我监控具有误导性

来源：https://huggingface.co/papers/2608.04570

摘要

具有持久记忆的个性化 LLM 正被越来越多地部署，但其用户模型的忠实性仍未得到检验。我们研究了过度推断（OI）：即 LLM 捏造超出证据支持范围的用户属性的现象。我们引入了 MirageBench，包含150个人物画像，在刻板印象、反刻板印象和中性画像之间保持平衡；6项个性化任务，涵盖一个“想象梯度”；一个由独立评判器操作化的四类忠实性分类体系（在400条声明上与盲式人工标注者验证：Cohen’s kappa=0.863（四类），kappa=0.900（二类））；以及一个在143616条已评判声明上涵盖7个模型家族的12个模型的排行榜。我们发现过度推断是普遍存在的：12个模型中的每一个都对其35%–49%的声明进行了过度推断（跨模型均值41.6%；按声明加权41.8%），在此评估中没有模型能够幸免。最引人注目的是，我们揭示了一种“自我监控反转”：在模型选择层面，模型的自我评估OI与其评判器测量OI呈负等级相关（rho=-0.60，p=0.044；探索性结果，bootstrap置信区间较宽 [-0.90, +0.06]，n=12）。那些报告自身过度推断最少的模型，往往被标记为捏造最多的模型，因此自我报告置信度是用于比较模型的误导性信号，尽管在单个模型内部，自我审计仍能对其自身声明进行中等程度的排序（AUROC 0.58–0.83）。我们进一步表明，OI 具有任务依赖性（27%–59%），并且在多轮试点中，推断出的属性几乎呈线性累积，且很少被修正。MirageBench 将外部验证（而非模型自我报告）定位为可信个性化的更可靠基础。

查看 arXiv 页面 (https://arxiv.org/abs/2608.04570) 查看 PDF (https://arxiv.org/pdf/2608.04570) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.04570)

在您的智能体中获取此论文：

hf papers read 2608\.04570

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.04570，即可从此页面链接到它。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.04570，即可从此页面链接到它。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.04570，即可从此页面链接到它。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集，即可从此页面链接到它。