mechanism-driven-monitors

#mechanism-driven-monitors

机制驱动的LLM训练不稳定性预判监测器

arXiv cs.CL ↗ · 2026-06-29 缓存

提出了一种基于机制驱动的监测器，用于预判检测LLM训练不稳定性，通过从低精度闪光注意力（flash attention）和MoE路由器中提取内部信号，使得能在损失发散前数千步进行检测。

0 人收藏 0 人点赞