预印本表明,具备进化技能的小模型能超越无此技能的大模型。那么,什么应该持久化?
摘要
WikiSkill通过持久化维基来进化和转移技能,显示拥有此类技能的小模型在基准测试中优于无此技能的大模型,引发了关于AI代理中哪些知识应持久化的疑问。
WikiSkill将代理的原始运行、累积知识和可执行技能分离开来,然后使用持久化维基来指导后续的技能更新。作者报告称,进化技能可以跨模型族转移,并且在某些测试环境中,具备技能的小模型性能显著优于无技能的大模型。这是一份局限于基准测试的预印本,并非生产环境的证明。有趣的观点是,持久资产可能是结构化的、可修订的经验,而非一堆转录文本——并且这种资产有时能在模型交换后仍然存在。在生产代理中,哪些内容应被允许自动持久化:事实、程序、失败模式、评估结果,还是直到人工批准差异之前什么都保存?
相似文章
WikiSkill:将代理经验编译为持久知识以促进技能演化
WikiSkill 介绍了一个框架,该框架与持久知识库共同演化代理技能,以系统性地积累经验并提升跨模型性能,展示了优于最先进的技能演化方法的优势。
WikiSkill让一个9B模型击败了27B对手,但一个转移的技能使Gemini从50.5%降至18.1%
Google Research的WikiSkill预印本展示了将执行历史编译成技能文件可以让一个9B AI模型在基准测试中超越27B模型,突出了程序记忆和技能转移在代理性能中的作用。
Google推出WikiSkill用于持久智能体学习(阅读需22分钟)
WikiSkill是一个框架,与持久知识库共同进化智能体技能,持续超越最先进的方法,并实现跨模型的有效技能转移。
@datologyai:为什么更大的模型能保留稀有技能而较小模型会失去?Jing Huang(斯坦福 NLP)指出干扰……
这篇文章讨论了斯坦福 NLP 的 Jing Huang 在 Summer of Data 活动中的演讲,解释了更大的 AI 模型由于任务干扰和更大的容量而能更好地保留稀有技能。
更新:小模型程序性技能迁移测试的首批人工结果
本文报告了在小AI模型上测试程序性技能迁移实验的首批人工结果,提供了关于技能如何在模型间迁移的见解。