标签
SOPO（苏格拉底式引导策略优化）提出了一种多轮强化学习框架，通过苏格拉底式教师引导反馈和基于轮次的优势缩放来解决文本片段级幻觉检测中的奖励稀疏与长度膨胀问题，在RAGTruth上取得最先进的表现，超越GPT-5等模型，并开源了17亿和40亿参数的模型。
EAU 是一个元智能体框架，在训练多轮 LLM 智能体时协同演化用户模拟器、环境与强化学习配置，使训练系统随策略一同进化。在三个交互式智能体基准上，EAU 比最强基线整体提升 14.7–15.0%，在 ColBench 上任务完成率最高提升 36.7%。
PlanPO是一种强化学习方法，它为多轮代理式大语言模型引入了从粗到细的优势信号，在ALFWorld、WebShop和SciWorld等基准测试中，性能比GRPO提高了27.2%。
提出PaTR，一个过程奖励引导的自适应树状展开框架，用于LLM智能体的多轮强化学习。它选择性地从有希望的中间状态进行分支，并剪枝死胡同路径，在相同训练预算下，在SWE-Bench上最高提升+5.0，在FrozenLake上提升+9.3。
OpenWebRL提出了一个开放框架，用于在真实网站上利用在线多轮强化学习训练视觉网页代理，以极少的初始监督实现了最先进的性能。其4B参数模型优于先前的开放代理，并与OpenAI CUA和Gemini CUA等专有系统竞争。
一位开发者分享说，解决多轮强化学习中的“tito”问题比普遍认为的要简单，只需要一个实现规则和一个所有模型已经支持的聊天模板属性。
DeepDive 提出了一种自动化方法，利用知识图谱进行数据合成和多轮强化学习，训练深度搜索代理，从而实现复杂的多步推理和网页浏览。
UI-TARS-2 是一款原生以图形用户界面为中心的代理模型，解决了数据可扩展性、多轮强化学习以及环境稳定性等挑战，在图形用户界面基准测试中取得了领先成果（Online-Mind2Web 88.2 分，OSWorld 47.5 分，WindowsAgentArena 50.6 分，AndroidWorld 73.3 分），优于 Claude 和 OpenAI 代理模型。