rank-analysis

标签

Cards List
#rank-analysis

微调更新的秩度量需要噪声基线

arXiv cs.LG ↗ · 2026-10-19 缓存

该论文指出,用秩来衡量微更新ΔW时必须加入噪声基线:方向计数类指标显示微更新仅略低于噪声,而稳定秩则显示远低于噪声,二者共同揭示更新具有少数强方向加长尾的结构。研究还发现指令数据、DPO偏好标签对更新并无显著特殊性,并质疑了'后训练是表面性的'相关论断。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈