trl

Hugging Face发布了一套5步AI智能体后训练课程，涵盖SFT、蒸馏、基于GRPO的强化学习、RL环境以及harness规模训练，每一步都配有直播、代码和文档。

Maxime Labonne 指出，像 d1-omni-600M 这样的小型决策模型在经过微调后可以非常高效。Leonie 分享了使用 Unsloth 和 Hugging Face TRL 在免费 GPU 上用 30 分钟微调 d1-3B 决策模型的笔记本。

文章解释了AI模型如何陷入“末日循环”，并介绍了使用Final Token Preference Optimization (FTPO)进行“抗末日”训练以减少此问题，并在GitHub上提供了教程。

本文描述了一种方法，使用 AsyncGRPOTrainer 训练 LoRA 适配器，并通过存储桶在单独的 Hugging Face 作业之间同步，从而消除了对 NCCL 通信的需求。

本文详细介绍了一个使用 TRL 和 OpenEnv 训练编码模型生成水彩艺术作品的开源复现项目，完整的流程成果已发布于 Hugging Face，以确保可复现性。

本指南详细介绍了使用TRL库中的Group Relative Policy Optimization（GRPO）进行微调的方案，以提升LFM2.5-350M模型的结构化输出合规性，将IFStruct基准性能从22.6%提高到29.7%。

Antidoom是一个帮助小型推理模型在复杂任务中避免重复循环的工具，现已达到TRL（技术就绪水平）。它解决了模型在长时间思考过程中卡住并重复单词的问题。

训练代理直播系列第三节课的提醒，涵盖用于训练代理的强化学习（GRPO）、如何在TRL中实现以及端到端示例，将于7月28日星期二在Hugging Face的X、YouTube和LinkedIn上直播。

TRL 现在通过 OpenEnv 集成开箱即用地支持在 agent harness 上进行训练，支持使用 opencode 等 harness 进行训练。

分享在 seLIA 上的演讲幻灯片，内容是关于使用 TRL 和 OpenEnv 训练开源编码智能体，这是一个关于自由软件和开放 AI 的开源会议的一部分。

本文简要介绍了AI中模型蒸馏的历史，并预告了即将举行的一场关于使用TRL（Transformer强化学习）蒸馏开放模型的直播课程。

您现在可以使用 TRL 的 GRPO 和 RLOO 方法来训练 Liquid AI 的 LFM2-VL 模型，并提供了示例脚本。

连续批处理已添加到TRL的GRPO中，提高了速度并减少了VRAM使用，无需vLLM。推文解释其工作原理及适用时机。

OpenReward 和 TRL 现在支持在超过 350 个强化学习环境中进行训练，只需极少代码。

OpenReward环境现在可以直接通过单个OpenRewardSpec集成到TRL的GRPOTrainer中，从而能够针对一系列RL环境进行零代码粘合训练。该集成处于实验阶段，是让环境和智能体RL成为TRL一等公民的更广泛努力的一部分。

这篇帖子演示了如何通过单个提示词免费微调模型，利用了新的Google Colab CLI以及Hugging Face的TRL和trackio工具，所有这些都由AI代理编排。

用户正在使用 Unsloth 和 TRL 实现带验证器的推理训练，报告了使用小型 SLM 和微型 RM 本地生成类似 GRPO 的样本的进展，并承诺很快发布视频。

TRL 现在支持对来自各种来源（如 Claude Code、Codex、OpenClaw 和 Pi）的智能体轨迹进行模型微调，这正朝着训练智能体模型的标准化栈迈进。

宣布即将发布一个关于训练小型模型用于偏好调优的视频，涵盖奖励模型、RLHF、DPO、ORPO，以及Unsloth和TRL的使用。

TRL v1.4 发布，该版本为 SFT 引入分块 NLL 损失以降低显存占用，并实现与 OpenReward 的一级集成以支持 GRPO。