Training Agents: Live tutorial on how to fine-tune a coding agent for continual learning

# TL;DR 本课程第一讲演示如何用监督微调（SFT）在代理跟踪记录数据集上训练一个小型代码代理（Gemma 4 2B），使其学会生成工具调用和多轮对话，并利用HF Jobs和Track IO自动进行参数扫描与评估。 ## 课程概述 课程名为“Training Agents”，聚焦于后训练（post-training）环节，尤其是长时间运行任务的挑战。系列计划至少三节：第一节（当前）讲SFT，第二节讲基础RL，第三节讲带环境的进阶RL。课程使用代理本身来训练——通过给CodeX等代理一个高级提示，让它自动规划、执行训练并评估结果，从而形成“元训练”闭环。 ## 代理跟踪记录与数据集 ### 为什么用跟踪记录 代理跟踪记录是代理执行任务时留下的日志，包含工具调用、多轮对话等完整交互。Ben展示了一个Hugging Face上渲染的跟踪记录，其格式标准，便于分析。 训练目标是小模型（Gemma 4 2B）从零学会代理语言——即生成正确的工具调用格式、遵循多轮对话。SFT直接在跟踪记录上模拟这些行为。 ### 数据集来源 - 首选方案：从自己代理的跟踪记录收集真实世界数据，但收集过程耗时长。 - 本次采用Mario Zechner（Pie框架作者）公开的跟踪记录数据集，这些记录来自Claude Opus 4.5，但格式与框架无关，可转换用于任何模型。 ## SFT训练过程 ### 训练契约（约束） 代理被赋予如下高级指令（以CodeX提示为例）： - 在指定模型（Gemma 4 2B）和数据集上执行SFT。 - 使用多个HF Jobs进行参数扫描，并用Track IO跟踪每次运行的指标。 - 推送所有适配器到HF仓库，运行最终评估（保留集上的损失、HumanEval、MBPP）。 - 将评估分数、作业ID、Track IO链接等写入README。 代理需自主完成：解析模型ID、配置训练脚本、运行冒烟测试（权限检查、内存校验）、记录经验教训。 ### 任务执行 Ben将提示输入到CodeX代理中，代理开始后台运行。由于任务耗时约2.5小时，直播中不等待完成，而是展示预期流程。 ## 训练工作流详解 ### 第一步：验证与计划 代理首先检查： - 模型HF ID是否存在且可访问。 - 数据集形状是否适合训练。 - 推送权限、HF Jobs资源是否可用。 它还会阅读文档，确保使用正确的依赖与格式。 ### 第二步：参数扫描与训练 - 代理为不同的超参数（学习率、批次大小等）生成多个HF Jobs。 - 每个Job对应一次训练运行，Track IO记录损失、梯度和评估指标。 - 代理自动从Track IO面板中挑选出最佳运行的指标（如最低验证损失）。 ### 第三步：评估与记录 - 最佳模型的最终权重被推送到HF仓库。 - 运行两个基准评估（HumanEval和MBPP），生成代码生成准确率。 - 代理将评估结果、作业ID、Track IO链接整合到最终模型的README中，形成完整报告。 ## 本课目标与后续 当前SFT仅让模型模仿跟踪记录中的行为，不涉及奖励函数或RL环境。后续课程将引入GRPO和RL环境，使代理能自主探索并优化策略。 ## 总结 通过SFT在高质量跟踪记录上微调一个小型基础模型，可以快速得到一个能执行工具调用和多轮对话的代码代理。整个训练流程本身也交由另一个代理自动化执行，体现了“用代理训练代理”的核心理念。 **Source**: [YouTube - Training Agents: Live tutorial on how to fine-tune a coding agent for continual learning](https://www.youtube.com/watch?v=rNgUoH7Wbv8)