clipping

本文揭示了PPO和GRPO中的裁剪机制在LLM的RLVR中引入了熵偏差：低裁剪增加熵，高裁剪减少熵。作者证明，即使在随机奖励的情况下，标准裁剪也会降低熵，并表明调整低裁剪可以防止熵塌陷并促进探索。

本文介绍了MuCon，一种用于大语言模型训练的裁剪Muon优化器，它应用奇异值裁剪而非完全极化，保留较小的奇异值而仅裁剪最大的奇异值。它探索了避免全SVD的近似方法，包括极坐标/绝对值公式和有理牛顿滤波器，并指出了阈值附近的数值挑战。

The Vergecast 本期节目探讨了社交媒体信息流如何被剪辑内容和算法蛮力所主导，同时还评测了新款 Fitbit Air 健身追踪器，并讨论了智能眼镜这一产品类别。