好得难以置信？诊断并缩小AI偏好与真实用户参与之间的差距

# 真实得难以置信？诊断与缩小AI偏好与真实用户参与度的差距  
来源：https://arxiv.org/html/2609.18282  
作者：Yuanmeng Xiang, Yunyao Zhang, Zeliang Chen, Junqing Yu, Zikai Song  
††感谢：通讯作者  
机构：华中科技大学  
机构：\{normanspark, skyesong\}@hust.edu.cn  

###### 摘要  
大型语言模型日益被用于生成和评估在线内容，但其关联高参与度的特质是否与真实用户的反馈一致仍不明确。本研究通过分析知乎、Quora和Reddit上25,978个问题的117万个答案，比较真实平台答案与AI生成答案在四个**问题内参与度等级**下的表现。我们提出**本体论偏好测量**框架，从逻辑、情感和表达三个维度表征答案。研究发现**AI偏好与真实用户参与度之间存在系统性差距**：随着目标参与度提升，大语言模型会增加更多显式逻辑结构，而真实用户参与度则与情感和表达显著性关联更强。我们将此倾向称为**逻辑过绑**。基于此诊断，我们提出**本体遮掩推理自编码（OMRA）** 方法，通过可控干预遮掩并重建过度解释的片段，同时保留立场、事实内容与连贯性。在四族大语言模型中，OMRA平均将测量差距缩小54.4%。人工评估显示，即使真实答案更常被评为"人类撰写"，OMRA在成对偏好判断中仍以62.4%的胜率优于匹配的真实平台答案。  

## 1 引言  
请参见图注  
图1：AI偏好与用户参与度差距的示例。AI偏好的答案结构完整、逻辑明确但参与度较低。情感或表达显著性更强的答案在此案例中获得更高参与度。  
大型语言模型越来越多地被用于生成、排序和评估在线内容，并可被引导撰写针对不同用户参与度水平的答案（Ouyang等人，2022；Lambert等人，2025）。然而，其做出的改变是否反映了真实用户的实际反馈仍不明确。当目标为更高参与度时，大语言模型倾向于使答案更完整、结构化且显式推理更充分（Rodrigues等人，2026）。但真实的高参与度答案可能遵循不同模式。这引出两个问题：  
- 当被要求撰写高用户参与度答案时，大语言模型会改变什么？  
- 这些改变是否与真实高参与度答案的模式匹配？  

为回答这些问题，我们比较了相同四个参与度等级下的真实平台答案与AI生成答案。我们从知乎、Quora和Reddit收集了25,978个问题的117万个答案。由于原始投票数受曝光度、平台流量和时间影响，我们仅对同一问题内的答案进行排名，并将其映射至四个**问题内参与度等级**。随后让大语言模型为每个**目标参与度等级**生成答案。此设置使我们能够比较真实答案如何随**真实用户参与度**变化，以及大语言模型如何修改答案以达到相同等级。我们将后者模式称为**AI偏好**：大语言模型与高参与度相关联的特质。  

为比较这些模式，我们引入**本体论偏好测量**框架，从**逻辑**、**情感**和**表达**三个维度表征每个答案：逻辑维度捕捉显式主张与支撑；情感维度捕捉情感与价值导向吸引力；表达维度捕捉修辞显著性与记忆度。随着目标参与度提升，大语言模型会增加更多主张、证据、因果解释和逐步论证，而真实用户参与度则与情感和表达显著性关联更强，且与显式推理仅呈现微弱负相关。我们将此倾向称为**逻辑过绑**：AI偏好对显式逻辑呈现的权重分配相对于真实用户参与度而言失衡。此模式在迁移、边际和几何比较中保持一致。  

基于此诊断，我们提出**本体遮掩推理自编码（OMRA）** 方法，通过可控干预遮掩并重建过度解释的片段，同时保留立场、事实内容与连贯性。在四族大语言模型中，OMRA平均将AI偏好-用户参与度差距缩小54.4%，优于少样本模仿、推理增强生成及其他遮掩策略。额外控制实验表明，长度对差距有贡献但不能解释OMRA的改进，而句法情绪变化影响甚微；保留性检查显示立场、事实一致性、相关性和实用性大体得以保持。人工评估显示，即使真实答案更常被评为"人类撰写"，OMRA在成对偏好判断中仍以62.4%的胜率优于匹配的真实平台答案。  

总结贡献如下：  
- •我们引入**本体论偏好测量**框架，通过逻辑、情感和表达三个维度构建跨AI偏好与真实用户参与度的结构化比较体系，并基于三平台117万个答案识别**逻辑过绑**现象。  
- •我们提出**本体遮掩推理自编码（OMRA）** 方法，通过重建过度解释片段，在四族大语言模型中将测量差距缩小54.4%，并通过控制实验与人工评估提供支撑证据。  

请参见图注  
图2：本体指导诊断与修正框架概览。左：本体论偏好测量。答案在共享可解释空间中沿逻辑、情感和表达维度表征。中：AI偏好-用户参与度诊断。迁移、边际与几何比较揭示AI偏好中的逻辑过绑。右：本体遮掩推理自编码（OMRA）。OMRA识别、遮掩并重建过度解释片段，使AI生成答案更接近真实答案分布。  

## 2 相关工作  
完整讨论见附录A（https://arxiv.org/html/2609.18282#A1），此处仅重点概述主要方向。  

##### 本体、话语与论证挖掘  
基于本体的建模通过可解释概念与关系表征文本（Gruber，1993；Noy等人，2001），而论证挖掘则识别主张、证据与论证关系（Lippi和Torroni，2016；Lawrence和Reed，2019；Chakrabarty等人，2019）。相关研究还探讨话语结构、情感、框架与修辞如何影响说服力与用户反馈（Feng和Hirst，2011；Tan等人，2016；Stab和Gurevych，2017）。我们在此基础上，通过沿逻辑、情感和表达维度组织在线答案，在共享可解释空间中比较AI偏好与真实用户参与度。  

##### AI偏好与LLM作为评判者  
AI合成数据与LLM作为评判者评估已被广泛用作奖励建模与对齐中的人类标注可扩展替代方案（Christiano等人，2017；Ouyang等人，2022；Li等人，2024；Lambert等人，2025）。先前工作记录了涉及冗长性、长度、位置和自我偏好的偏差（Hu等人，2024；Ye等人，2025a；Saito等人，2023；Wang等人，2025），但这些偏差通常基于基准标签或其他模型评估。我们则将AI偏好相关特质与自然发生的用户参与度进行比较。  

##### 参与度建模与偏好控制生成  
先前工作使用用户、时间、网络和内容特征预测在线参与度（Deng等人，2020；Rameez等人，2022；Lei等人，2025；Wang等人，2026），而偏好对齐与可控生成则将输出导向期望的奖励或属性（Ouyang等人，2022；Rafailov等人，2023；Zhang等人，2023；Song等人，2026）。这些方法未直接诊断AI偏好将哪些答案特质与参与度关联，或这些关联如何区别于真实用户参与度。OMRA通过本体论识别并重建过度解释片段，同时保持立场、事实一致性和连贯性约束，从而弥补此差距。  

## 3 方法论  
我们将方法论组织为三个阶段（见图2（https://arxiv.org/html/2609.18282#S1.F2））：本体论偏好测量（§3.1（https://arxiv.org/html/2609.18282#S3.SS1））、AI偏好-用户参与度差距诊断（§3.2（https://arxiv.org/html/2609.18282#S3.SS2））和OMRA修正（§3.3（https://arxiv.org/html/2609.18282#S3.SS3））。  

### 3.1 本体论偏好测量  
为超越原始投票数研究真实用户参与度，我们构建了基于本体的测量框架，通过逻辑、情感和表达三个互补维度表征每个答案。该框架将可观测的平台参与度信号与可解释文本属性相联系，而非将参与度视为黑箱标量。  

请参见图注  
图3：平台参与度数据集概览。左侧面板汇总语料库级统计信息，包括问题数、答案数、领域、子领域及相关属性。中间旭日图展示主领域与细分子领域的层次化主题分布。右侧面板可视化平台参与度信号与文本属性分布，包括投票数、问题标题长度、问题浏览量和答案长度。  

#### 真实用户参与度数据集  
我们从知乎、Quora和Reddit三个开放在线平台收集大规模问答对数据集，并附带平台参与度信号。语料库覆盖2020-2026年，包含10个类别和35个子类别，每个答案都关联自然发生的参与度信号（如投票数，见图3（https://arxiv.org/html/2609.18282#S3.F3））。平台特定过滤、去重与参与度质量标准详见附录B（https://arxiv.org/html/2609.18282#A2）。由于绝对投票数受问题曝光度、平台流量和时间动态影响，我们将投票数视为**平台参与度信号**而非底层人类偏好的直接测量，因此基于**问题内参与度**进行分析。  

对于问题q及其答案集Aq，我们为每个答案a分配问题内参与度等级l⁡(a)=φq(rankq⁡(v⁡(a)))∈{0,1,2,3}，其中φq将问题q内的投票排名映射至四个序数等级，在共享问题背景下隔离相对用户参与度。我们比较四种**答案模式**：  
- **真实**：按问题内参与度标注的已观测平台答案；  
- **合成**：基于目标参与度条件生成的AI答案；  
- **少样本**：额外以同等级真实参考答案为条件；  
- **OMRA修正**：经本体指导遮掩与重建方法修正的答案（§3.3（https://arxiv.org/html/2609.18282#S3.SS3））。  

#### 偏好分解的本体  
我们将每个答案a分解为三个偏好层O⁡(a)={OL(a),OA(a),OE(a)}，其中OL（逻辑）捕捉答案明确陈述并支撑立场的程度，OA（情感）捕捉情感与价值导向吸引力，OE（表达）捕捉可读性、记忆度与修辞显著性。每层围绕**概念**、**关系**和**模式**组织，使我们能够描述答案特质如何随参与度等级变化。完整本体定义、子维度、提取模板与示例见附录C（https://arxiv.org/html/2609.18282#A3）。  

#### 本体提取与偏好评分  
给定答案，我们使用固定大语言模型提取器配合约束本体模式与输出格式获取O⁡(a)，并将其转换为逐层偏好向量s⁡(a)=[sL(a);sA(a);sE(a)]，其中每个s*(a)汇总其子维度分数。原始答案文本仍为评分主要证据，而提取的本体提供结构化线索。所得s⁡(a)作为答案特质的可解释测量（而非直接参与度分数），为后续诊断与修正奠定基础。模式与提示详见附录G（https://arxiv.org/html/2609.18282#A7）。  

### 3.2 AI偏好-用户参与度差距诊断  
利用本体偏好向量s⁡(a)，我们诊断AI偏好-用户参与度差距。我们将迁移、边际与几何差距组织为诊断序列：从跨模式迁移失败，到其背后的关联模式，最终到其分布足迹。设r∈{R,S,F}表示答案模式（真实、合成或少样本），Dr为其答案集。  

##### 迁移差距  
我们首先测试某一模式学习的参与度规则能否泛化至其他模式。我们训练预测器fr将s⁡(a)映射至问题内参与度等级，并在模式r'上评估：Tr→r′=M(fr,Dr′)，其中M包括Spearman ρ和Top-1准确率。TR→S与TS→R的不对称性区分了内部一致性与迁移能力：AI偏好规则可能内部一致，但在真实平台答案上失效。  

##### 逻辑过绑  
我们将**逻辑过绑**定义为AI偏好相对于真实用户参与度对显式逻辑呈现赋予不合理权重的倾向。对每个d∈{L,A,E}，我们计算模式内关联ρdr=Spearman({sd(a)}a∈Dr,{l(a)}a∈Dr)。