@askalphaxiv: 这里是我们全新功能 OpenResearch 的早期预览，用于复现和基于论文进行实验。我们…

X AI KOLs Timeline 工具
openresearch vpo vector-policy-optimization toolrl research-reproduction gpu-training

摘要

名为 OpenResearch 的新功能支持复现和基于论文进行实验，通过一键模板即可在 ToolRL 上训练 Vector Policy Optimization (VPO)，从而实现多样化的答案生成并改进测试时搜索。

以下是 OpenResearch 的早期预览，这是我们全新的功能，用于复现和基于论文进行实验 我们整理了一个模板，让你可以在单个 GPU 上一键训练 ToolRL 上的 VPO Vector Policy Optimization 通过随机加权奖励维度来训练模型生成多样化的答案集合，使每个答案专注于不同的权衡 结果是在样本预算增加时获得更好的测试时搜索。下面来看一看！
查看原文
查看缓存全文

缓存时间: 2026/05/26 19:13

以下是OpenResearch的早期预览，这是我们全新的功能，用于复现论文并在此基础上进行实验。

我们制作了一个模板，让你只需点击一次，就能在单GPU上基于ToolRL训练VPO（向量策略优化）。

向量策略优化通过随机加权奖励维度，让模型生成多样化的答案集，使得每个答案专注于不同的权衡点。

结果是在样本预算增长时，测试时的搜索效果更佳。快来查看吧！

相似文章

向量策略优化：面向多样性的训练提升测试时搜索性能

Reddit r/LocalLLaMA

本文介绍了一种名为向量策略优化（Vector Policy Optimization, VPO）的强化学习算法，该算法通过优化多个奖励维度来训练大语言模型生成多样化的解决方案，与标量强化学习基线相比，显著提升了测试时搜索性能。