标签
研究人员提出一个国际象棋谜题基准数据集(包含 1,118 道 Lichess 题目),用于对冻结参数的大语言模型进行自动提示词优化;他们在八个模型上评估了六种 APO 算法,采用成本低廉、结果确定且可重复的评分方式,总成本约为 800 美元。
论文提出了 SHIFT 框架,它通过一个经过学习的本地 LLM 架构师和价值函数,结合蒙特卡洛树搜索,为每个查询构建多智能体框架,在 9,193 个任务上实现了约 80% 的平均准确率,超越了 17 个基线方法,同时在更经济的模式下将执行 token 成本降低了 32%。
ActiveSaddler 将动态课程学习建模为非平稳多臂老虎机问题,实现了 LLM Agent 优化中训练场景课程与 harness 的协同进化,在 GAIA2 和 Terminal-Bench 2.0 上分别将 Pass@1 提升了 4.4 和 7.5 个百分点。
论文提出了 Mara Chain,一种精炼方法,它将被拒绝的 AI 系统配置(提示词、技能、运行框架、代码)转化为可复用的垫脚石,而非直接丢弃。该方法在 AppWorld 上实现了最高 20.5% 的性能提升,并在 TerminalBench 2.1 和 MuSiQue 上取得大幅进步,同时仅需远少于以往的 rollout 次数。
Microsoft 推出了 Coding-Agent Skill Distillation(CASD),这是一种提示优化方法,其中现成的编码代理分析代理日志以一次性写出优化的提示,性能优于之前的如 GEPA 和 SkillOpt 的技术,且成本更低。
本文分享了一个基于Cursor经验教训的提示和实用指南,用于提高LLM代理框架的令牌效率,旨在降低成本而不牺牲任务质量。
本文提出Self-Meta-Evolve层次化框架,可针对企业信息抽取任务为每个用户定制提示词,通过交互反馈持续优化来提升抽取性能。
tool-prune是一个工具,用于在调用本地LLM模型前精简工具Schema,减少92%的提示令牌并避免幻觉,无需额外LLM轮询。
本文提出了一种优化的基于提示的最小编辑语法错误纠正方法,通过使用基于分类的指令、批处理和LLM辅助的提示优化,实现了最先进的结果。
该论文介绍了RSM-full,一种用于大语言模型代理的在线聚类记忆管道,它分离了记忆合并和检索组装,在紧凑的提示预算下,以32%的token成本实现了全上下文质量的83%。
AgentGrad 通过使用序列干预来识别目标智能体,并对文本梯度进行语义聚类,从而改进多智能体提示优化,实现了最先进的性能,并将优化时间减少了2.5倍。
本文介绍HarnessEvo,将LLM代理框架分解为可独立演化的槽位,揭示优化价值局部存在于反思/控制等特定组件中,均匀预算分配次优,并主张针对性的预算集中。
本文表明,用于个性化冻结大语言模型的提示空间元学习在不同用户间无法迁移,因为元验证目标对用户与支持的对应关系在统计上不变,导致相比种子提示或控制组无显著改进。
本文识别了自我改进代理中LLM作为评判者系统的失败模式,并介绍了PROCTOR,一个具有确定性防护机制的架构来缓解这些问题。
一篇论文测试了NPO,一种依赖教师反馈的提示优化方法,发现它在更少的运行次数下取得了与GEPA相当或更好的结果,尤其是使用像GPT-5.5这样的更强教师模型时,并且优化后的提示可以转移到其他学生模型。
本文提出一种控制-数据流分离框架,通过将执行协议与语言内容解耦来稳定多智能体LLM系统中的提示优化,实现了100%的协议有效性,同时提升任务性能。
一条推文讨论了优化MOLMO的提示词,以增强其对SAM3的点提示功能,其中GEPA使性能提升了122%,但仍未能达到完美一致。
本文提出一种成本感知框架,使用多臂老虎机控制器自适应选择LLM作文评分的提示策略,在保持准确性的同时将LLM调用减少78.4%。
本文讨论了提示优化作为事件驱动开发中的关键技术,提到了像MLflow这样的框架,支持DSPy、GEPA和MIProv2等算法,以改进LLM提示。
本文提出将主动推理作为一种框架,使AI代理能够通过平衡信息增益与成本来高效获取上下文,并在语言模型上建立基准测试,应用于问题提出和提示优化。