构建智能体轨迹数据集的实用指南

如果你正在尝试训练或微调一个使用工具的智能体，我不会从收集随机聊天日志开始。我会从定义什么是一个好的轨迹开始。对我来说，一个有用的轨迹至少包含六个部分：任务、智能体的推理状态、工具调用、工具输入、环境返回的观察结果以及最终答案。如果缺少其中任何一部分，数据对训练的用处就会大大降低。使用工具的智能体需要学习意图、行动、环境反馈和纠正之间的联系。一个实用的流程可能是这样的：以结构化格式记录轨迹；生成需要实际工具使用而非仅仅文本完成的任务；在可以安全调用工具的沙箱中运行智能体；同时保存成功和失败的运行，因为失败对于评估和改进很有用；为每个轨迹打分，基于成功性、效率、连贯性和工具使用正确性；过滤掉格式错误或低信息量的轨迹；选择一个多样化的子集，使数据集覆盖不同的工具、任务深度和恢复模式；对于有潜力但有缺陷的轨迹，通过明确的诊断重新运行或修复它们。关键是，将智能体轨迹视为数据资产，而非调试日志。调试日志是为人类在事件发生后编写的。训练轨迹应该以模型学习为目标进行设计、生成、评估和清理。这也能创建更好的反馈循环。如果你的模型持续做出糟糕的工具调用，你可以围绕那个失败模式合成更多轨迹。如果它在长任务上挣扎，你可以生成更深的轨迹。如果它过度使用工具，你可以根据效率进行评分和筛选。我认为智能体轨迹数据集将成为训练实用智能体的主要瓶颈之一，而 OpenDCAI/DataFlow 是一个朝这个方向发展的开源项目。