hard-questions

ZPPO在LLMs/VLMs的强化学习中为难题引入了回放缓冲区，允许反复接触，逐步提高rollout准确性，而不会导致策略漂移。该方法比GRPO解决了更多难题，尤其是那些初始准确率接近零的问题。