linear-function-approximation

本文提出了在线学习算法，用于在线性函数近似下、具有动态效用型短缺风险（UBSR）度量的MDPs中进行高效的策略评估。引入了UBSR-TD算法，并证明了其收敛性和实际有效性。

本文提出了一种针对使用线性函数逼近的Q学习的切换系统理论，利用联合谱半径分析了在确定性、独立同分布（i.i.d.）及马尔可夫观测下的收敛稳定性。