contextual-bandits

This paper introduces cross-domain off-policy evaluation and learning (OPE/L) for contextual bandits, allowing the use of logged data from multiple source domains to improve policy evaluation and learning in target domains with challenging conditions like few-shot data, deterministic logging policies, and new actions.

本文研究了具有不可操纵变量的上下文因果赌博机问题，提出了汤普森采样和信息导向采样（IDS）的因果变体，利用共享因果机制加速决策过程。理论遗憾界和合成任务实验表明，所提方法优于因果和非因果基线。

本文提出了相关性感知的上下文赌博机算法，利用机器学习模型产生的代理奖励信号进行LLM路由，与标准基线相比，实现了更好的精度-成本权衡和样本效率。

本文介绍了一种用于AI智能体运行时人工监督的、具有双边信息不对称的Contextual-Bandit团队博弈，刻画了团队最优策略与短视人工监督策略之间的差距。

提出了在有限适应性下具有广义线性奖励的上下文Slate Bandit算法，实现了与非线性参数无关的遗憾界。批量式和少切换算法计算高效，且在经验上优于基线，包括在语言模型示例选择任务中。

本文提出D2R-RAG，一个模型无关且资源感知的框架，在延迟和VRAM约束下诊断和修复RAG系统中的事实错误，在FEVER和HotpotQA上实现了更好的准确性与效率权衡。

提出了GraphDR-LinUCB方法，一种面向具有图结构臂的上下文赌博机方法，该方法将特征投影到图的低频频谱子空间上。实现了首个基于频谱投影的上下文赌博机的遗憾界，并在真实数据集上相比全维度LinUCB实现了15倍的遗憾值降低。

本文提出了一种上下文多臂赌博机框架，该框架学习社交网络中的个体溢出概率，以优化激励式口碑营销，通过定向关联用户实现更高的回报。

本文将嵌入模型路由形式化为具有低秩专家的对抗性上下文线性赌博机，提出了Hypentropy策略梯度（HPG）算法，该算法实现了O~(s√(MT))的策略遗憾，避免了维度灾难。

本文介绍了一种面向自适应查询和选择LLM API的在线上下文Pandora's Box模型，提出了一种结合GMM估计与UCB风格置信区间的学习方法，并证明了维度相关的遗憾界。

本文介绍了用于短期租赁动态定价的人类参与循环门控老虎机（HITL-GB），表明先前策略下的历史定价数据在结构上等同于在线策略预热数据，将冷启动从约150轮减少到约30轮。

本文研究了分段平稳的低秩线性上下文老虎机，提出了SPSC算法，该算法实现了与内在秩（而非环境维度）成比例的动态遗憾，并刻画了在标量反馈下子空间恢复的辨识边界。