model-recovery

Tag

Cards List
#model-recovery

ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery

arXiv cs.CL ↗ · 2026-10-09 Cached

ReCal 是一种即插即用的校准方法,在结构化剪枝前通过教师-剪枝探针间的前向 KL 识别受损预测并重加权校准统计,从而提升剪枝模型在在线策略蒸馏(OPD)后的恢复效果,在 AIME 上最高提升 16.7 个百分点。

0 favorites 0 likes
← Back to home

Submit Feedback