@QGallouedec：TRL v1.4 发布！令我兴奋的两点：→ SFT 的分块 NLL 损失。显存占用大幅降低，损失值相同，通常速度更快。Qwen…

X AI KOLs Following 工具
trl sft grpo openai-rewards qwen gpu-optimization

摘要

TRL v1.4 发布，该版本为 SFT 引入分块 NLL 损失以降低显存占用，并实现与 OpenReward 的一级集成以支持 GRPO。

TRL v1.4 发布！令我兴奋的两点： → SFT 的分块 NLL 损失。显存占用大幅降低，损失值相同，通常速度更快。在 16k 序列长度下运行 Qwen3-14B：显存占用从 58.9 GB 降至 38.9 GB。 → 与 @OpenReward 的一级集成。只需一行代码即可将环境接入 GRPO。 此外：更多聊天模板、MFU 辅助工具等…… https://t.co/PyEdTYNxxf
查看原文
查看缓存全文

缓存时间: 2026/05/10 22:31

TRL v1.4 发布！让我兴奋的两点：

→ SFT 的块化 NLL 损失。显存占用大幅降低，损失值一致，速度通常更快。Qwen3-14B @ 16k 序列长度：从 58.9 GB 降至 38.9 GB。 → 原生支持 @OpenReward 集成。只需一行代码即可将环境接入 GRPO。 此外：更多聊天模板、MFU 辅助工具…… https://t.co/PyEdTYNxxf

相似文章

TRL v1.0：紧跟领域发展的后训练库

Hugging Face Blog

Hugging Face 发布 TRL v1.0，这是其训练后库的重大更新，将其从一个研究代码库转变为稳定、生产就绪的工具，支持 PPO 和 DPO 等超过 75 种训练方法。

@SergioPaniego: https://x.com/SergioPaniego/status/2067270222671741360

X AI KOLs Timeline

OpenReward环境现在可以直接通过单个OpenRewardSpec集成到TRL的GRPOTrainer中，从而能够针对一系列RL环境进行零代码粘合训练。该集成处于实验阶段，是让环境和智能体RL成为TRL一等公民的更广泛努力的一部分。