行为语言模型中评分与生成读出的对比：引出格式的实证研究

# 行为语言模型中评分与生成读数：一种引出格式的实证研究  
来源：https://arxiv.org/html/2609.09882  
作者：Krittin Pachtrachai，Wachiravit Modecrua  
所属机构：Amity研究与应用中心（ARAC），Amity集团  
邮箱：[\{touchapon,krittin,wachiravit\}@amity\.co](mailto:)  

###### 摘要  
基于真实用户行为微调的语言模型正日益被用作*行为模拟器*：给定购物者历史记录和优惠信息，它们能预测用户是否会行动，并且与传统分类器不同，还能以客户的口吻解释预测结果。团队通常认为这两种能力可以互换，假设让模型在回答前进行推理，最坏情况下对预测本身也是中性的——这一假设事关重大，因为错误的排序定位系统会悄无声息地错配激励预算，且推理的流畅性不会暴露任何失败迹象。我们直接检验了这一假设：固定检查点和提示内容，仅改变答案是作为概率读取（*评分*）还是在书面推理后生成（*生成*），在跨越三个市场（两个使用完全公开数据和公开检查点）四种零售预测任务的13个模型×领域组合上进行实验。互换假设不成立：在13个组合中的12个中，评分读数比生成读数的排序更准确（双侧符号检验，\(p \approx .003\)），AUC提升1.5至14.5点，且所有新测量组合的配对自举置信区间均排除零。差距是系统性的而非偶然的：它随任务特定监督程度和训练/服务格式不匹配程度而增加，范围从−2.2（未调优基础模型）到+13.7（推理格式监督），前沿推理模型为+1.4（95%置信区间[0.6, 2.2]）。对约9,000条推理的逐行分析定位到两个相关因素：推理中停止引用主导预测特征（其秩相关降至0.31），以及收敛于小部分固定表述（高达33%的生成共享前三个开头）。概率饱和作为最明显的症状，并未反映差距。第三种读数——在任何判定前引出概率——恢复了校准（Brier分数从0.47降至0.15），且排序与评分读数的差异在噪声范围内，但仅适用于训练中出现的结果率，且对于评分头已校准的模型，其效果更差。我们通过每种读数匹配的目标来解释差距，报告哪些训练选择能缩小差距，并给出一个在产品中保留生成推理同时使用评分头提供排序的服务方案。  

## 1 引言  
零售商和市场日益使用单一工具决定谁获得优惠券、产品下架后应优先关注哪些客户，或如何设定激励预算规模：即基于真实交易历史微调的*行为模拟器*语言模型，它可通过自然语言被询问特定客户是否会行动（Modecrua等人，2026；Wang等人，2025b；Maier等人，2025）。与传统分类器不同，这类模型还能要求解释自身——以客户的口吻写出其预期结果的原因。正是这种双重能力使行为模拟器具有吸引力：一个检查点似乎既提供了目标定位的排序信号，又能为分析师提供可审计的推理，以证明定位决策的合理性。  

行为模拟器作为研究趋势。构建既能预测又能解释的单一模型并非零售独有：它遵循更广泛的趋势，即将语言模型用作通用世界模型和智能体，通过持续预训练和微调来内化领域动态而非仅标签（Qwen团队，2026）。应用于消费者行为时，方法是基于消费者语音和交易序列语料继续预训练基础模型，然后在决策任务本身上进行监督，使得生成合理客户叙事的相同权重也能被查询以获得预测（Modecrua等人，2026；Wang等人，2025b）。与传统判别模型相比，其吸引力有三：产品团队和分析师可直接查询的自然语言接口、对训练中未见问题形式的迁移能力，以及——不同于大多评估合理性或人类偏好的智能体基准——一个模型主张可通过真实记录结果（兑换、流失事件、复购）而非代理标签进行验证的领域。这一特性也暴露了该范式的局限：比较模拟人群和真实人群的基准持续发现系统性差距（Hu等人，2026）。正是在这样的背景下——模型流畅但尚未知是否忠实——如何查询模型进行决策变得至关重要。  

排序错误的代价直接且实质性。一个错误排序客户的定位系统会将激励预算花在本来就会行动的人身上，而从可能响应的人那里收回预算，且这是悄无声息的：推理的流畅性不会提示其底层排序已退化。因此，团队是否可以信任生成推理的表面进行排序，还是必须退回到单独的评分通道，是首要的运营问题而非建模细节。实践中，团队常将二者视为可互换，假设要求模型阐述推理最坏情况下对其随后的预测也是中性的。这一假设表面看似合理：训练期间生成的推理已被证明可作为自举信号提高模型自身准确性（Zelikman等人，2022），且语言化推理在其他任务中可匹敌甚至超越基于对数概率的置信度估计（Tian等人，2023），因此容易预期推理在服务时也是中性甚至有益的。然而，同一推理步骤也已被证明会因预算增加而引发过度自信（Hiremath和Hiremath，2026），并随长度产生非单调准确率（Wu等人，2025）——这足以质疑而非盲信该假设，下文文献将精确描述这一张力。  

互换假设的证据是间接的，来自多个相邻文献而非直接测试的单一工作线。关于引出和推理的证据。已知模型被问的方式在两个相关维度上重要。首先，在单个token层面：Wang等人（2024）表明模型的首token概率和生成的自由文本答案在多选基准上可能不一致，将其框架为评估有效性而非部署的威胁，且这种对引出协议的敏感性在置信度估计中普遍复现（Kim和Kang，2026）。其次，在推理本身层面：思维链已被证明会因推理预算增加而引发过度自信（Hiremath和Hiremath，2026），并随推理长度产生非单调准确率（Wu等人，2025），而Wang等人（2025a）发现移除推理会改变某些模型的行动预测质量，但未隔离原因。综合来看，该文献确立了引出格式总体上并非无害，但没有一项在固定检查点和提示内容下仅改变读数，也没有将由此产生的成本与真实、已验证的行为结果进行比较。  

关于行为模拟器的具体证据。Modecrua等人（2026）和Wang等人（2025b）确立了我们研究的这类行为模拟器的训练方案，并在单一、固定读数下报告了域内准确率，未改变引出格式。Tian等人（2023）和Maier等人（2025）研究了语言化概率引出——分别在通用指令遵循任务和调查式购买意图项目上——而非真实、可验证的行为结果。这正是本文填补的空白：在相同检查点下对引出格式进行受控比较，以真实客户行为而非基准标签或合成代理进行测量。  

本文直接检验互换假设，固定检查点和提示内容，仅改变提问方式，发现其对调优后的行为模型不成立。跨越四个领域，从模型读取决策概率（*评分*）比让模型写出推理后回答（*生成*）对真实结果的排序更准确——且差距在对任务训练最充分的模型中最大。我们首先强调这是什么、不是什么。这是在固定检查点下对*排序准确率*的测量：哪种读数最好地恢复真实结果的排序。这并非声称生成推理没有价值。它们服务于排序指标无法捕捉的目的——可审计性、可解释性、对未见问题形式的迁移、以及客户和分析师可查询的产品界面——且在我们的测量中，它们有时比评分读数*校准更好*，尽管排序更差。产出推理的行为模型是一个活跃且（我们认为）有价值的研究方向；这里的贡献是量化一个特定成本，以便通过设计规避而非默默承受。  

为何预期存在差距。评分读数是模型的原生二元结果头：基于所有提示证据的\{YES, NO\}概率，这正是判别模型使用二元交叉熵在同一标签上优化的量，也是AUC等排序指标所奖励的。生成读数则先将相同证据通过文本瓶颈，再读取基于该文本的概率。任何文本未能传递或扭曲的证据都无法在下游恢复。这些任务上已建立的BCE训练基线（梯度提升树；DMBGN凭证模型，Xiao等人，2021）从不将证据通过文本路由，且如我们所报告，它们依然强劲。本文通过经验回答的问题是：文本瓶颈成本有多大，什么调节它，以及能做什么。  

本文有四项贡献：  
1. 测量（第4.1节）：跨越四个领域——东南亚大型杂货零售商的优惠券兑换、公共DMBGN基准上的电商凭证兑换（Xiao等人，2021）、自然实验中的品类变化响应、公共dunnhumby*完整旅程*数据集（dunnhumby，2014）上的优惠券活动兑换——以及五个检查点（从未调优的27B基础模型到前沿推理API），评分读数在13个组合中的12个击败生成读数；在最极端情况下，生成臂退化（单类输出），仅改变读数即可恢复至0.766 AUC。  
2. 差距的调节因素（第4.1节）：它随任务特定监督和训练/服务格式不匹配而增长，在推理格式监督下从+9.3到+13.7点，在域内决策格式监督下为+3.0点（调优模型中最小），未调优基础模型显示反向符号（−2.2）。  
3. 两个相关因素和一个非相关因素（第4.2节）：对生成推理的逐行分析表明，锚点放弃和模板收敛能正确排序各组合的差距，而概率饱和（最明显的症状）则不能。  
4. 第三种读数及其范围（第5.2节）：在任何判定前引出概率可恢复校准，排序与评分读数差异在噪声范围内，但仅适用于训练中出现的结果率，且对于评分头已校准的模型严格更差。  

这些发现共同为具体训练和服务指导提供依据（第7节），即在产品中保留生成推理同时使用评分头提供排序，并给出两个诊断方法以预测特定部署为其读数选择支付的成本。  

本文其余部分组织如下：第2节将此测量置于评估时答案分歧、推理校准和语言化概率的相关工作中；第3节描述检查点、训练流程、评估领域及我们比较的三种读数；第4节报告主要测量（第4.1节）及其逐行相关因素（第4.2节）；第5节引入第三种读数并表征其何时有益（第5.2节），讨论局限性（第5.3节）；第6节综合发现；第7节以部署指导结束。我们四个领域中两个使用公共数据和公开检查点端到端，因此数字可由第三方复现；代码、提示和逐行数据已发布。  

## 2 相关工作  
读数选择作为测量问题。Wang等人（2024）表明首token概率和生成文本答案在多选基准上不一致，将其框架为对*评估有效性*的威胁。我们研究部署对应问题——哪种读数最好地恢复真实结果排序——并增加监督剂量反应和多选设置无法暴露的逐行相关因素。  

推理与校准。思维链已被证明在预算增加时引发过度自信（Hiremath和Hiremath，2026），并在长度增加时产生非单调准确率（Wu等人，2025）。我们的观察是独特的，部分……