标签
CodeSpecWeave 是一个用于合成长程编码任务的框架,这些任务具有丰富且相互依赖的规格要求。该框架生成了 4,670 个训练任务和一个包含 100 个任务的基准测试集;在这些任务上进行强化学习训练,显著提升了 DeepSWE-v1.1 相较于基线的性能。
DataPraxis 提出一种基于验证式工作区演化的分析任务合成框架,并据此构建 DataPraxis-5K 数据集(5000 条已验证轨迹),训练出 DataPraxis-27B 与 DataPraxis-35B-A3B 模型,在 DABStep 与 JobBench 上达到或超过 GLM-5.2 等前沿模型水平。
Navalia 是一个协作智能体框架,将源自企业财务报告的可验证任务合成与长程后训练(SFT + RL)相结合,在五项智能体基准测试中均在其基座模型 Qwen3.6-35B-A3B 之上取得了持续的性能提升。
Interlock 将长时程任务合成为类型化完成图,通过 agent-as-judge 验证与自训练提升复杂环境下 LLM 智能体的任务完成率,在 AutomationBench、JobBench 和 Harvey LAB 上带来 3–7 个百分点的提升。
ClawLoop 提出一个无需外部教师模型的自改进训练框架,通过任务合成、训练与诊断反馈三个阶段形成自我维持循环,持续提升基于 harness 环境的 LLM 智能体能力,并在多个基准上验证了效果。
FACET是一个框架,通过保留源意图和确保跨工件一致性,为AI代理训练合成高质量的终端任务,从而在Terminal-Bench 2.1上提升性能。
CalibForge 是一个自主终端任务合成系统,利用对抗性求解器校准来生成可学习任务,用于训练终端智能体。它构建了 5,431 个校准任务,并在 Terminal-Bench2.0、SWE-bench Pro 和 Doc2Repo 上提升了智能体性能。
CLI-Universe是一个合成引擎,通过多维能力分类体系和证据引导的研究生成可验证的终端代理任务,并产生包含6000条轨迹的精炼数据集。在该数据集上微调Qwen3-32B,在Terminal-Bench 2.0上达到了33.4%,为参数量在32B及以下的开源模型树立了新的最优水平。
TASTE是一种自动化方法,通过自适应对比n-gram建模和迭代难度优化来演化工具序列,从而生成覆盖更广工具使用、更具挑战性的智能体基准测试。生成的τ^c-Bench显示,在现有基准测试中几乎饱和的模型性能大幅下降,表明这是基准饱和而非模型具备稳健能力。