blockwise-gating

标签

#blockwise-gating

基于块策略漂移门控的在线策略蒸馏

arXiv cs.LG ↗ · 2026-06-24 缓存

本文提出了一种轻量级的基于块策略漂移门控方法，通过根据新旧学生概率变化对损失进行加权，改进了语言模型的在线策略蒸馏，在数学基准上取得了更高的推理准确性。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈