@HuggingPapers: 持续学习考试(CLE)LLM 智能体真的能从经验中学习吗?CLE 汇集了 120 个专家编写的专业任务……
摘要
持续学习考试(CLE)引入了 120 个专家编写的专业任务,组织成 5 级阶梯结构,用于测试 LLM 智能体能否复用早期获得的知识;即便是最佳配置也只能通过 47.7% 的关卡。
查看缓存全文
缓存时间: 2026/11/02 02:02
持续学习考试(CLE)
LLM 智能体真的能从经验中学习吗?CLE 将 120 项由专家编写的专业任务组织成 5 级阶梯结构,因此早期获得的知识必须在后续阶段被复用。目前表现最好的方案也仅能通过 47.7% 的关卡。https://t.co/rnY8pPxa2N
相似文章
ContinualSkillBench:LLM智能体能否真正进化其能力?
介绍了ContinualSkillBench,一个用于LLM智能体上下文内持续技能学习的动态评估框架,表明虽然顺序执行能提升性能,但当前方法难以将经验巩固为稳健、可迁移的技能。
@omarsar0: // Continual Learning Bench // 持续学习是投入大量资金的研究领域之一。虽然存在…
CL-Bench 是一个经过专家验证的跨六个领域的新基准,用于评估基于LLM的智能体是否真正从序列经验中学习。它发现,朴素上下文学习往往优于专用的记忆系统,表明当前架构增加了开销而非真正的学习。
CLEAT:面向交互式智能体的价值引导澄清学习
该论文提出了 CLEAT 框架,通过成对轨迹估计剩余查询价值,将澄清价值控制器与大语言模型任务策略联合训练,使智能体能够提出有用的澄清问题,并随着策略的改进调整这些问题。该框架使用 Qwen3-4B,在四项基准测试中均取得了最高分。
Learn2Play Bench:大型语言模型智能体在陌生环境中的经验学习能力有多强?
Learn2Play Bench 是一个基准测试,包含一系列新颖且违反直觉的文字游戏,旨在评估大型语言模型智能体是依赖交互经验学习还是依赖预训练知识,研究揭示了关于经验保留、人类与智能体之间的性能差距以及智能体框架设计重要性的发现。
重新思考自进化大语言模型智能体的持续经验内化
本文研究了大语言模型智能体在多轮迭代经验内化过程中出现能力渐进式崩溃的原因,并提出了一套从经验粒度、注入模式和训练机制三个维度出发的鲁棒解决方案。主要发现包括:原则级经验、逐步注入方式以及离策略上下文蒸馏能够带来更稳定、更可持续的持续学习效果。