标签
SERA(Self-Evaluating Recursive Agents)提出了一个联合训练单一策略的框架,使其能够完成子任务分解、执行与评估。该框架通过可验证结果对齐评估准则,并引入叶覆盖奖励,在实验中显著优于递归智能体基线,表明学会评估能够提升求解能力。
COPE是一种新颖的优化框架,用于在稀疏用户反馈下对LLMs进行持续个性化,采用可学习的用户嵌入和自评估校准。实验表明,它优于无训练和基于训练的基线,并在各种设置下保持稳健。
本文识别了长时间运行的自主LLM智能体中的'进展幻象'失败模式,其中自我评估偏差导致智能体将停滞误认为进展。通过受控实验,表明对于开放式目标,外部带外验证是必要的。
对2024–2026年间1,250篇关于AI递归自我改进的论文进行了全面综述,提出了将有界自我优化与开放式递归自我改进相区分的分类体系,并分析了评估器设计空间和失败模式。
本文测试了LLMs在上下文问答中判断能力优于生成能力的假设,发现在大多数基准上生成准确率超过自我评估,且评估过程对上下文的关注较少。这些发现挑战了自我评估流程中的核心假设。
本文介绍了自我评估激发(SEE)方法,该方法通过校准耦合的强化学习和掩码蒸馏,用极少数据激发基础大语言模型中的潜在评判校准,在保持答案质量的同时提升了跨基准的校准效果。