从松弛可索引性到精确可索引性：用于部分可观察不休止赌博机的 $t$-步方法

# 从松弛可索引性到精确可索引性：部分可观测躁动臂老虎机的 $t$ 步方法
来源：https://arxiv.org/abs/2608.24167
查看 PDF (https://arxiv.org/pdf/2608.24167)

> 摘要：Whittle 指数策略为躁动多臂老虎机提供了一种可扩展的方法，但在部分可观测下，即使确定单个信念下的无差异补贴，也需要解决一个无解析值函数的无限视界信念状态问题。Liu [10] 通过线性化未知的决策边界来应对此难题，得到一个线性系统和闭合形式的近似 Whittle 指数。然而，所得阈值仅使用一步主动-被动比较，未考虑更长视界的延续价值。我们将此框架扩展至 \emph{ $t$ 步前瞻阈值策略}。对于每个补贴 $m$，阈值由 $t$ 步有限视界值迭代下的主动减去被动优势定义。当 $t=1$ 时，阈值与 $m$ 无关，并恢复了 Liu [10] 的线性阈值；当 $t>1$ 时，通过诱发的首次穿越结构，阈值变得依赖于补贴，并更紧密地追踪精确决策边界。所提算法无需将可索引性作为输入，并包含可索引性验证。在原始 Whittle 可索引性下，我们证明 $t$ 步近似 Whittle 指数几何收敛至精确 Whittle 指数：\\[ \|\widehat W_t(\omega)-W(\omega)\|=O(\beta^t)。\\] 数值实验中，所有 2,715 个测试的三状态实例均被验证为符合所提标准的可索引问题。P95 指数误差从 $t=1$ 时的 $2.18\times10^{-2}$ 降至 $t=8$ 时的 $8.93\times10^{-4}$。在一个 $\\beta=0.9999$ 的精确可比实例中，$t=2$ 已恢复了精确的 Whittle 指数排序。适中深度的阈值策略也优于一步基线，并接近最优动态规划基准，同时运行时间仅随 $t$ 温和增长。

## 提交历史

提交者：刘可亲 教授\[查看邮件 (https://arxiv.org/show-email/abfbb4af/2608.24167)\] **\[v1\]**2026年8月25日 星期二 07:31:30 UTC \(511 KB\)