基于分位词元与邻居上下文的文本到分布预测

# 基于分位词元与邻居上下文的文本到分布预测  
来源：https://arxiv.org/html/2604.20216  
Yilun Zhu¹ Yuan Zhuang¹ Nikhita Vedula¹ Dushyanta Dhyani¹ Shaoyuan Xu¹  
Moyan Li¹ Mohsen Bayati² Bryan Wang¹ Shervin Malmasi¹  
¹Amazon.com, Inc. ²Stanford University  
[email protected] [email protected]  
{zyone, veduln, dhyanidd, shaoyux, moyanli, brywan, malmasi}@amazon.com  

###### 摘要  
许多基于 LLM 的文本回归应用需要预测完整的条件分布，而非单点值。本文研究“经验分位监督”下的分布回归：每个输入配有多条观测分位结果，目标分布由稠密分位网格表示。我们指出当前方法的两大局限：分布估计缺乏局部依据，以及共享表征在输入与分位输出间形成间接瓶颈。为此，提出*分位词元回归*——据我们所知，首个将专用分位词元插入输入序列的工作，使每个分位通过自注意力直接与输入建立通路。进一步用检索增强：引入语义相似的*邻居*实例及其经验分布，为预测提供局部证据。我们还首次给出分位回归损失函数的理论分析，阐明各自优化的分布目标。在 Inside Airbnb 与 StackSample 基准上的实验（1.7B–14B 参数的 LLM）显示，分位词元+邻居持续优于基线（MAPE 低约 4 个点，预测区间窄 2×），在更小更难的数据集上提升尤为显著，分布更尖锐且准确。代码已开源：https://github.com/yilunzhu/text2distribution/。

---

## 1 引言  
图 1：方法概览。  
*左：*输入包含查询文本及检索到的邻居，邻居附完整经验分布（分位形式）。  
*中：*基线（Vedula et al., 2025）仅用查询文本，所有分位由共享隐状态经独立线性头输出。我们的分位词元方法额外插入专用 ⟨Qτ⟩ 词元，直接参与注意力，为每个分位建立输入-输出捷径。  
*右：*输出为 τ 分位构成的完整预测分布。  
*下：*在 Airbnb、Stack Overflow 两数据集上用 1.7B–14B 的 Qwen3 模型评估。

大语言模型已超越文本生成，在时序预测、回归等结构化任务中展现潜力。近期研究表明，经过微调或上下文示例提示，LLM 可精准近似数值映射，因而适用于关键信息藏于非结构化文本的回归场景。然而，大多数工作聚焦点估计，而现实诸多应用（定价、需求预测、风险评估）需要*完整概率分布*。分位回归（Koenker & Bassett, 1978）通过估计不同概率水平的条件分位，自然实现分布预测，对异常值鲁棒且可捕捉异方差效应。

Vedula et al. (2025) 首次尝试将多线性分位头接在共享隐状态后，实现 LLM 分布预测，但仍存在三大局限：  
1. 所有分位共享同一表征瓶颈，输入到分位输出仅为*间接*连接；  
2. 仅依赖查询文本，缺乏与相似实例的比对，而人类定价时常参照同类商品；  
3. 既有检索增强方法仅用单点标签，分布监督信息有限。

本文提出“分位词元+邻居”架构（图 1），贡献如下：  
- **分位词元回归**：首次将可学习分位词元 ⟨Qτ₁⟩,…,⟨Qτ_Q⟩ 插入输入序列，每个词元可主动关注输入不同部分，积累分位专属信息，实现真正的输入-输出捷径，且所有分位在同一注意力计算中联合生成，保证单调性并提供可解释性。  
- **检索增强分布估计**：检索语义邻居，并为每个邻居附加*完整经验分布*（分位形式），而非单点标签，使模型在相似实例的分布证据上接地，更好估计离散度与尾部行为。

我们在 Inside Airbnb 与 StackSample 构建两个文本到分布数据集，使用 1.7B–14B Qwen3 模型实验表明：  
1. 检索增强在各规模模型上一致提升（Airbnb 平均 MAPE 相对降 8%，StackSample 降 63%）；  
2. 分位词元优于共享表征基线（StackSample MAPE 相对降 14%，预测区间窄 6×）；  
3. 两者结合效果最佳。此外，我们首次理论分析不同分位回归损失所优化的分布目标。

---

## 2 相关工作  

##### 基于 LLM 的回归  
现有三大范式：上下文学习、嵌入作特征、微调加回归头。近期还出现 RAFT、TRACT 等回归专属目标。本文沿用微调，但聚焦*分布*而非点预测。

##### 分位回归与分布预测  
传统分位回归用弹球损失估计条件分位。近期将多分位头接共享隐状态的工作存在瓶颈；我们让分位词元全程参与注意力，实现更直接通路。

##### 检索增强预测  
检索可为回归提供校准依据，如定价任务引入相似商品。已有方法仅做点预测，我们首次扩展到*分布*预测，利用“相似实例具有相似分布”的直觉。

##### 文本回归应用  
金融、地产、商品定价、内容评分等领域均需从文本映射数值。我们构建跨领域数据集，验证方法在定价之外场景的通用性。

---

## 3 方法  

### 3.1 分位分布回归任务  
输入 X 为文本序列，连续输出 Y∈ℝ。目标学习条件分布 F_Y|X，由其分位表示：对分位水平 τ={0.01,…,0.99} 共 Q=99 个，预测 q_τ(X)。  

**经验分位监督**：每个 X_i 配多条观测结果 Y_i={y_i1,…,y_iM_i}，构建经验 CDF 并线性插值到固定 99 分位，得到目标向量 q̂_i∈ℝ^99。  

**学习目标**：数据集 D={(X_i,Y_i)}，训练 f_θ 使 f_θ(X_i)≈q̂_i，将文本到分布预测转化为结构化分位回归。

图 2：分位词元为每个分位水平提供专属表征与直接通路。以 Stack Overflow 异步异常处理问题为例，不同特征提示不同响应时间：热门“python”标签预示快速回答，而小众“asyncio”标签则关联较长等待。