bandits

本文指出了一个广泛使用的时间一致自归一化集中不等式在非平稳多臂赌博机问题中用于折扣最小二乘时的错误，提供了反例和下界，并给出了修正后的不等式。

This paper studies the joint effect of memory width and batch depth in stochastic Lipschitz bandits, characterizing the minimax pseudo-regret tradeoff up to logarithmic factors and showing that state width and update depth are not interchangeable.

本文介绍了Lexi-LowGLM，一种针对具有多个优先级目标的广义低秩矩阵老虎机的高效算法，利用在线牛顿更新来降低计算复杂度，并实现依赖于有效低秩维度的遗憾界。

本文介绍了 THV-UCB，一种用于带有板选择的多目标老虎机问题的算法，并建立了超体积遗憾的无间隙和依赖间隙的遗憾界。

本文研究了具有不可观测状态和可能受限决策周期的马尔可夫匪徒中的遗憾最小化问题，引入了一种称为自退化马尔可夫匪徒的推广。作者提出了UCB-NOM算法，该算法实现了接近对数的遗憾，并给出了不依赖于状态数量的界限。

本文研究了分段平稳的低秩线性上下文老虎机，提出了SPSC算法，该算法实现了与内在秩（而非环境维度）成比例的动态遗憾，并刻画了在标量反馈下子空间恢复的辨识边界。

本文证明，波动性和随机性作为不确定性的两种来源，推动最优探索向相反方向变化：波动性增加探索，而随机性抑制探索。作者将Gittins指数框架扩展到高斯状态空间赌博机，并引入了CAUSE——一种闭式探索奖励，其性能优于标准策略。

本文介绍了一种用于广义线性带臂中最佳臂识别的混合 Track-and-Stop 算法，该算法统一了绝对反馈和相对反馈。作者提出了一种基于似然比的置信序列以自适应分配查询，并证明了该方法在样本效率上优于基线方法。