标签
本文提出了一个用于大型语言模型测试时多样化生成的统一框架，根据多样性注入的位置（表面级 vs. 规范级）对方法进行分类。它提出了规范级方法，首先生成多样化的中间规范，然后基于这些规范生成最终响应。在五个开放任务和四个骨干模型上，规范级注入在保持质量的同时提升了输出多样性。
本文介绍了 G-Zero，这是一个无需验证器的框架，通过基于内在奖励和提示引导的协同进化训练，实现大型语言模型的自主自我改进。旨在通过从内部分布动态中推导监督信号，克服代理 LLM 评判者在无界任务中的局限性。