bandits

本文研究了具有不可观测状态和可能受限决策周期的马尔可夫匪徒中的遗憾最小化问题，引入了一种称为自退化马尔可夫匪徒的推广。作者提出了UCB-NOM算法，该算法实现了接近对数的遗憾，并给出了不依赖于状态数量的界限。

本文研究了分段平稳的低秩线性上下文老虎机，提出了SPSC算法，该算法实现了与内在秩（而非环境维度）成比例的动态遗憾，并刻画了在标量反馈下子空间恢复的辨识边界。

本文证明，波动性和随机性作为不确定性的两种来源，推动最优探索向相反方向变化：波动性增加探索，而随机性抑制探索。作者将Gittins指数框架扩展到高斯状态空间赌博机，并引入了CAUSE——一种闭式探索奖励，其性能优于标准策略。

本文介绍了一种用于广义线性带臂中最佳臂识别的混合 Track-and-Stop 算法，该算法统一了绝对反馈和相对反馈。作者提出了一种基于似然比的置信序列以自适应分配查询，并证明了该方法在样本效率上优于基线方法。