ratio

标签

#ratio

我发现Transformer中一个预测几何稳定性的隐藏比率 [R]

Reddit r/MachineLearning ↗ · 2026-05-12

本文通过Lyapunov谱分析发现，MLP和注意力谱范数之间的比率能够预测Transformer模型的几何稳定性，最优范围在0.5–2之间，可防止秩坍缩。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈