超越“AI制作”：可视化出处密度以缓解透明度惩罚

# 超越“AI生成”：通过可视化来源密度以缓解透明度惩罚
来源：https://arxiv.org/html/2609.03460
黄一飞 | 单位：东京大学工业科学研究所 | 邮箱：[[email protected]](mailto:[email protected])
李周荣 | 单位：韩国科学技术院 | 邮箱：[[email protected]](mailto:[email protected])
萨德·斯塔纳 | 单位：佐治亚理工学院 | 邮箱：[[email protected]](mailto:[email protected])
嶋村潤 | 单位：索尼计算机科学实验室（京都） | 邮箱：[[email protected]](mailto:[email protected])

###### 摘要

随着生成式AI使精炼文稿的产出变得廉价，用户不再能依赖流畅度作为真实性的代理指标。我们将这种失败模式称为“流畅度陷阱”：用户既信任流畅的幻觉内容，又在内容被披露为AI生成后对其准确性产生折扣。二元化的“AI生成”标签以作者身份披露作为回应，但未能展示支撑具体主张的依据。我们提出“来源密度”概念，这是一种证据可视化界面，用于展示文本中已验证主张的密度。在一项包含81名参与者的用户研究中，理想化的来源密度界面在真相与虚构之间产生了显著的辨别差距（+4.15分，d=1.82），而未获得任何信号的参与者则未表现出可检测的辨别能力。针对200个样本的技术审计表明，仅靠检索密度是不够的；出乎意料的是，“一致性否决”在动态查询中承载了大部分判别信号。随着AI生成内容变得与人类写作难以区分，有效的透明度机制必须从作者身份披露转向证据可视化。

††脚注：用户研究已通过东京大学机构审查流程批准。代码、数据、提示词及审计材料可通过以下链接获取：https://github.com/artisticsciencex/ijcai-ecai-2026-provenance-density。

## 1 引言

读者在判断真实性时，常常使用“加工流畅度”——即信息处理的主观难易程度——作为线索。相关工作表明，当流畅度与环境属性共变时，基于难易程度的启发式判断在生态上是有用的。我们将这一逻辑扩展到语言呈现层面。在生成式AI出现之前，产出高质量、表达清晰的文稿通常需要大量教育投入和编辑劳动，使得文本的精炼程度能够作为（不完美的）能力信号。**代价信号理论**解释了这种关系：只有当伪造信号的代价高到令人望而却步时，信号才是可信的。

生成式AI通过将流畅度的边际成本降至接近零，颠覆了这一机制。大语言模型使得无论作者的真实专业水平如何，都能批量生产专业感的文稿。这种“分离均衡”的崩塌催生了我们所称的“**流畅度陷阱**”：一种结构性的脆弱性，即用户继续信任流畅的文本，将其视为需要高成本产出的，即使它实际上是由对真实性漠不关心的系统廉价生成的。关于“**真理幻觉效应**”的心理学证据表明，加工的难易程度会抑制认知警惕性。这种倾向使人类容易受到“幻觉合理性”的影响——即句法完美但语义无根据的文本。

当前的治理措施，特别是二元的“AI生成”披露，未能解决这种脱钩问题。此类标签聚焦于**身份**（“这是谁写的？”）而非**来源**（“这由什么支撑？”），它们可能在未提供具体主张证据的情况下改变读者的感知。在新闻标题的实验中，即使标题是真实的或由人类撰写，AI标签也降低了其感知准确性。我们将这种独立于准确性的折扣称为“**透明度惩罚**”。

我们将来源密度定位为大语言模型时代的**认知支架**。该界面不要求用户仅凭文稿自行评估真实性，而是将注意力转向外部证据：高对比度的指标可视化已验证主张的密度，将部分验证负担从工作记忆转移到界面上。

我们通过双重评估来验证这一方法。首先，我们在一个综合了**TruthfulQA**和**FreshQA**的数据集上进行自动化技术审计（N=200），以测试其对抗性误解和动态模糊性的鲁棒性。其次，我们进行了一项包含81名参与者的被试内用户实验，以测量真相辨别力。我们的结果实证性地确认了流畅度陷阱：在没有信号的情况下，用户无法区分高流畅度的幻觉（M=6.28）与基本事实（M=5.78；p=.43）。虽然二元标签起到了粗略的警示作用，但在正确信号提示下，来源密度恢复了真相辨别力（d=1.82，p<.001）。

我们做出三项主要贡献：
**理论**：我们综合阐述了流畅度陷阱的机制（第2节），详述了由RLHF驱动的谄媚行为如何导致流畅度与真实性的脱钩。
**设计**：我们提出了**来源密度**（第3节），一个形式化的度量指标（D(T)）和交互范式，它对生成文本施加了计算验证障碍。
**证据**：我们通过技术审计（N=200）和被试内用户研究（N=81）评估了该方法，联合考察了指标行为以及界面支持的真相辨别力（第4节和5.1节）。

## 2 相关工作

我们认为，流畅度与真实性的脱钩并非大语言模型规模化的偶然副产品，而是由两大汇聚因素驱动的结构性必然：从代价信号到廉价谈话的经济转变，以及优先考虑合理性而非真实性的技术目标函数。

#### 从幻觉到漠视。

尽管早期对大语言模型的批评集中在将其“幻觉”视为偶发性错误，但近期研究提出了更具结构性的诊断。已提出“机器胡扯”框架来区分这些输出与撒谎，将其定义为模型对真值的基本漠视。对“胡扯指数”的分析表明，来自人类反馈的强化学习加剧了这一问题，它激励模型优先考虑修辞合理性和“误导性真实陈述”，而非事实依据。因此，生成的文本被优化以绕过人类的认知警惕。

这种结构性漠视使得传统治理机制（如二元警告标签）在很大程度上失效。实证评估显示了“接种失败”：虽然关于AI不可靠性的预防性警告成功降低了用户对系统的整体信任，但一旦用户接触具体内容，它们未能减轻对特定误导性文章的依赖。这种差异——用户在理论上承认AI偏见，但在实践中接受AI流畅性——凸显了启发式警告的局限性，并促使我们提出细粒度的来源密度指标。

#### 流畅度的结构性脱钩。

我们的分析基于**累赘原理**，该原理指出可靠的信号必须对信号发出者施加代价。历史上，语言的精炼正是作为这种累赘，创造了表达清晰的文本与能力相关的分离均衡。生成式AI将这种平衡坍缩为混合均衡，其中专家证词和虚构内容可以共享同样精炼的形式。

这一转变因现代大语言模型的技术对齐而得以持续。来自人类反馈的强化学习可能激励谄媚行为，模型优先考虑用户认同而非事实准确性。证据显示，模型会同意不合逻辑的前提以保持“帮助性”，并调整论点以符合用户观点。这导致了“机器胡扯”——即为修辞说服力而非真实性优化的文本。这种脱耦可能自我强化：在这种高流畅度、低熵数据上的递归训练导致**模型坍塌**，人类变异的“长尾”因同质化的均值而丧失。

#### 事后治理的失败。

当前的治理依赖于一个假设：一旦被警告，用户能够批判性地评估AI生成的文本。然而，AI生成的自我陈述可能与人类撰写的难以区分，而且AI素养并不可靠地转化为一致的事实核查行为。

二元披露（例如，“AI生成”）可能通过**认知污名化**加剧问题。研究报告了“透明度惩罚”，即披露降低了感知可信度，即使内容质量不变。相关的广告实验发现，标记为AI生成的相同广告获得了更严格的评价。此类效应可能产生广泛的怀疑，却不提供主张级别的验证能力。

#### 自动化检测的局限性。

虽然自动化检测器被提议作为执行机制，但它们对语言边缘化群体表现出显著偏见。依赖困惑度启发式方法的检测器经常将非母语人士较低的困惑度词汇模式误判为AI生成，导致“解释性访问不公正”。检测的对抗性本质也创造了一场生成器必然获胜的军备竞赛。因此，我们从作者身份的**事后检测**范式，转向来源密度的**内在信号**范式。

## 3 定义来源密度

为了在博弈论意义上作为代价信号发挥作用，来源密度必须在计算上难以伪造。我们定义给定文本T的来源密度得分D(T)为可验证主张的函数，该函数根据来源信誉、上下文相关性和内部语义一致性进行加权。

### 3.1 提出的度量指标：D(T)

我们提出一个整合外部验证（检索增强生成）与内部不确定性量化的密度度量指标。借鉴Farquhar等人关于语义一致性的动机，我们引入一个基于NLI跨样本一致性启发式的惩罚项P_int，用于降低那些随机采样结果不一致的生成的权重。与语义熵不同，我们的启发式方法不是估计概率加权语义簇上的熵。

设C为T中不同事实主张的集合，C_v⊆C为成功基于外部证据落地的主张子集。设S_c为支持已验证主张c的独立根域名集合。我们将来源密度得分D(T)∈[0,1)定义为：

D(T) = (1 - P_int) * tanh( (1/β) * Σ_{c∈C} ( Σ_{s∈S_c} w(s,c) )^λ )  (1)

等价地，我们首先将每个主张的源和提升到λ次幂，然后跨主张求和。我们的设计选择针对技术验证过程中揭示的特定理论特性：

#### NLI一致性启发式（“一致性否决”，1-P_int）：
对于每个查询，我们抽取K=5个随机样本，并计算ρ_consistent，即无序样本对中NLI矛盾概率在两个方向上均低于0.5的比例。我们定义P_int = 1 - ρ_consistent，因此内部稳定的生成其P_int≈0，而内部不一致的生成其P_int→1。随着成对不一致性的增加，无论外部证据如何，该门控机制都会降低得分。该启发式方法受语义熵启发，但既不形成语义等价簇，也不根据生成概率对其进行加权。它可以抑制不一致的虚构，但无法检测在样本间持续出现的错误答案。

#### 三次上下文权重（w(s,c)）：
与仅依赖域名权威的传统引用指标不同，我们将w(s,c)定义为来源信誉与语义相关性的乘积：
w(s,c) = Reputation(s) * (MatchRatio)^3
我们采用三次指数来强力抑制弱概念匹配。我们的初步测试表明，二次加权（x^2）对于“关键词堆砌”（即不相关来源共享表层词汇，MatchRatio≈0.5）仍过于宽松。三次项（0.5^3=0.125）充当噪声过滤器，确保只有语义高度对齐的来源才能有意义地贡献于来源密度得分。

#### 饱和标量（β）：
我们引入β作为密度温度参数（在我们的参考实现中设置为β=5.0）。