标签
本文提出了一个将Transformer动力学视为概率测度上的非线性控制系统的数学框架,证明了高斯分布在流动下保持高斯性,简化为有限维双线性控制,并建立了可达性条件和渐近稳定性结果。
本文研究了固定块稀疏因果注意力中序列局部性与注意力图可达性之间的不匹配,形式化了边界伪影,并提出了诊断覆盖函数和一种名为边界桥注意力的最小修复方法。
在形式化方法中解释可能性属性的概念,补充安全性和活性,并讨论它们在规范制定和模型检验中的使用。