标签
提出了反思反馈驱动的提示优化（RFDPO），通过追踪条目级别的恢复、回退和波动来评估自动提示优化，发现整体准确率可能掩盖大量变化，建议同时报告恢复、回归、变动率和在未见数据上的表现。
研究人员提出一个国际象棋谜题基准数据集（包含 1,118 道 Lichess 题目），用于对冻结参数的大语言模型进行自动提示词优化；他们在八个模型上评估了六种 APO 算法，采用成本低廉、结果确定且可重复的评分方式，总成本约为 800 美元。