RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning

### TL;DR David Silver的RL课程第一讲介绍了强化学习的基本概念、跨学科定位、与监督/无监督学习的区别，并通过几个实例说明了RL问题的应用场景。 --- ## 行政事务与课程安排 今年课程尝试在9:15开始（比往年提前15分钟），以便留出更多互动时间。所有教学材料将在课程网站发布，幻灯片会在课后更新并明确标注版本，方便期末复习。学生需加入Google Group以获取课程取消、作业等通知。 --- ## 课程结构与考核方式 本课程是“高级话题”课程的一部分，分为强化学习和核方法两个半课程。学生可只选修其中一部分。考核方式：50%作业 + 50%考试。 - **作业**：有两个不同的作业，学生可选择其中一个提交。若两个都完成，取较高分计入总成绩。 - **考试**：包含三道强化学习题和三道核方法题，学生可任选三道回答。若只选修其中之一，则只能回答对应部分题目。 --- ## 推荐教材 - **主要教材**：Rich Sutton和Andy Barto合著的《强化学习导论》（第二版电子版可在网上免费获取）。该教材约400页，直觉性强，适合入门。 - **进阶教材**：Csaba Szepesvári的《强化学习算法》（不足100页），数学更严谨，适合偏好理论的学生。 - 课程符号将采用第二版教材的风格。 --- ## 强化学习的跨学科定位 强化学习处于多个科学领域的交叉点，本质上是“决策科学”——研究如何最优地做决策。具体表现为： - **计算机科学**：机器学习中的强化学习（本课程内容）。 - **工程学**：最优控制，研究如何最优地选择一系列行动。 - **神经科学**：多巴胺系统反映了RL中的主要算法之一，被认为是人类决策的基础。 - **心理学**：经典条件反射和操作性条件反射（如Skinner的研究）本质上是RL。 - **数学**：运筹学中的最优控制理论。 - **经济学**：博弈论、效用理论和有限理性。 --- ## 强化学习与监督/无监督学习的区别 1. **无监督者**：RL中没有“正确行动”的标签，只有奖励信号（如“好”“坏”或分值），智能体通过试错学习。 2. **延迟反馈**：奖励可能在很多步之后才到来，当前决策的后果需要长时间才能显现。 3. **时间序列与主动影响**：RL处理的是顺序决策过程，数据非独立同分布。智能体通过行动影响环境，从而改变它观察到的数据（主动学习范式）。 --- ## 强化学习实例 - **直升机特技飞行**：智能体（控制器）需要执行一系列动作完成特技，最终获得“成功”或“坠毁”的奖励，没有中间步骤的明确指导。 - **双陆棋**：Tesauro的TD-Gammon系统仅通过RL反复对弈，最终击败世界冠军。 - **投资组合管理**：交易智能体根据市场数据实时决策买入/卖出，奖励为金钱，目标是长期最大化收益。 - **发电站控制**：如风力涡轮机的桨距调整、电机扭矩等参数每秒可调，通过RL优化发电输出。 --- ## 总结 强化学习研究的是在延迟反馈和主动影响环境的条件下，通过试错进行序列决策的问题。它横跨众多学科，具有广泛的理论与实践价值。 --- **Source**: [RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning](https://www.youtube.com/watch?v=2pWv7GOvuf0)