标签
该论文研究在上下文老虎机的离策略评估中，如何在预算约束下从多个标注源（领域专家、大语言模型）采购反事实标注，通过整数分配优化与单调改进算法，在合成临床和教育数据上将均方误差相对无标注基线降低了 20.58% 和 10.77%。
论文提出了 PFN-OPE，一种先验数据拟合网络，能够在上下文多臂老虎机任务间摊销离策略评估，同时处理大语言模型部署中的策略偏移和奖励偏移问题。在 HelpSteer2 和 UltraFeedback 数据集上，针对 Qwen、Llama 和 Gemma 策略，该方法在奖励偏移场景下的误差比最优基线低 2.0 至 9.3 倍。
该论文提出 OTROPE，一种面向大语言模型的免似然函数离线策略评估方法。它利用最优传输，在语义空间中将有限的人工标注行为策略样本与无标注目标策略样本进行对齐，从而构建出一种双重稳健式的评估器，在分布偏移条件下优于各类基线方法。
本文探讨了在生成式推荐器中使用模型的语义ID层次结构进行离线策略评估，表明在生产日志约束下，通过粗化到代码前缀聚类可以提高估计精度。
一个受控、可复现的基准测试，评估等成本 Top-k 分配的离线估计器，识别何时可以信任离线评估，并提供从业者指南。
本文介绍了面向上下文赌博机的跨域离线策略评估与学习（OPE/L），允许利用多个源域的日志数据来改进目标域中的策略评估与学习，这些目标域面临少样本数据、确定性日志策略和新动作等挑战性条件。
本文研究当决策主体（智能体）为了回应策略而策略性地修改其协变量时的离线策略评估（OPE）。该方法利用事后解释进行局部披露，以揭示智能体的前策略协变量，并构建策略价值的双重稳健估计量。
提出了Adwm，一种用于LLM智能体离线策略评估的自回归扩散世界模型，能够从预先收集的轨迹中实现可靠的价值估计，无需在线交互。
本文介绍了用于短期租赁动态定价的人类参与循环门控老虎机（HITL-GB），表明先前策略下的历史定价数据在结构上等同于在线策略预热数据，将冷启动从约150轮减少到约30轮。
本文通过逆概率加权（IPW）和增广逆概率加权（AIPW）等离策略方法，展示了难民匹配影响评估的鲁棒性，从而证实了此前关于算法分配难民的研究成果。