标签
本文介绍了QWM，一个将世界模型与Q学习相结合的框架，通过使用想象轨迹进行动作选择来增强强化学习中的样本效率，而不影响在真实数据上的训练。在操作基准测试上，它展示了相比最先进方法的显著改进。
本文探讨在序列模型中使用受量子理论启发的复数状态，表明它可以在 Mamba 和基于注意力的模型中减少优化步骤，并提高样本效率。
一篇博客文章探讨了强化学习在LLM上尽管信息论上效率低下，却实现了快速样本效率的悖论，并强调了低偏差价值函数的重要性。
This paper introduces PAIR, a pairwise-aware inclusion reweighting method for adaptive rollout allocation in RLVR, improving sample efficiency and accuracy over pointwise allocators by correcting biases in pairwise gradient estimation.
本文介绍了V-Simba，一种视觉RL架构，通过添加归一化层和逐点卷积来提高样本效率和稳定性。它在DMC、Adroit和Meta-World基准测试中达到或超越了最先进的方法，同时比DrQ-v2更具计算效率。
本文提出了 OG-SPR，一种无模型视觉强化学习算法，它将潜在自预测与观测预测相结合，学习具有动力学感知的表示，从而在 DeepMind Control Suite 任务上提高了样本效率。
本文介绍了ATLAS，一种基于模型的持续强化学习算法，该算法结合了Grow When Required网络与后继特征，以实现高样本效率和鲁棒的非平稳环境适应，并在空间导航任务中展示了正向后向迁移。
This paper proposes InK, a neurosymbolic hierarchical reinforcement learning approach that uses incremental knowledge for symbolic planning and reward-shaped low-level neural modules, achieving improved sample efficiency in navigation tasks.
来自哈佛大学和UIUC的研究人员发现了第三个预训练轴，将样本效率提高了6.2倍，并将GenAI生成速度提高了250倍。
提出ERAHBO，一种用于强化学习中风险感知超参数优化的高效异方差贝叶斯优化方法，通过自适应重采样相比固定预算方法提高了样本效率。
本文提出FaStR，一种通过CP分解将强化学习中的转移核分解为独立的状态、动作和下一状态编码器的方法，从而提升样本效率，尤其在高维运动控制任务中效果显著。
本文提出了KGRL，一种神经符号算法，利用以Datalog表达的领域知识来剪枝动作并约束参数，在参数化动作马尔可夫决策过程中提高了样本效率和回合回报，优于现有最先进的基线方法。
介绍了Learning from Hindsight (LfH)方法，该方法将后见之明重标注应用于视觉-语言-动作模型的强化学习后训练。通过将失败的机器人轨迹重新标注为它们实际完成的任务，LfH在分布外操作任务上实现了5倍的样本效率提升。
本文提出了相关性感知的上下文赌博机算法，利用机器学习模型产生的代理奖励信号进行LLM路由，与标准基线相比，实现了更好的精度-成本权衡和样本效率。
文章认为，在多样化的强化学习环境中对数百万可验证任务进行AI训练可能实现通用人工智能，并且扩展规模可能克服当前如样本效率低下等限制。文章还探讨了由于缺乏可重复训练的环境，计算机使用方面的进展为何较为缓慢。
Mesh-RL是一种用于强化学习的空间域分解框架，它将环境划分为重叠的子网格，以加速时序差分学习和长程信用分配，从而在稀疏奖励环境中提高收敛速度和样本效率。
Play2Perfect是一个强化学习框架，通过与多样化物体的游戏式交互学习通用操作技能，然后微调以执行精确组装任务，在紧密插入中实现了33倍的样本效率和零样本模拟到现实的迁移。
本文深入分析了AI的样本效率远低于人类的问题，指出前沿模型需要海量领域特定数据，而人类仅需少量示例即可学习，这种数据黑洞是当前AI发展的核心瓶颈。文章通过多个比较（标记量、机器人操控、驾驶）和反驳常见反对意见，论证了这一差距的严峻性，并探讨了对AI自动化目标的影响。
本文认为，文本优化——修改提示、上下文、记忆和检索——应被视为与权重优化并列的合法学习机制，突出了其样本效率和通过更新时计算进行扩展的能力。
作者认为，文本优化（提示、上下文、记忆）是一种合理且样本高效的学习机制，机器学习社区应更认真地对待它，从而开启一个更新时计算的新扩展维度。