syntactic-generalization

本文介绍了SiPE，一种轻量级方法，将依存句法分析中的句法先验注入Transformer位置嵌入，在不增加推理成本的情况下，提升句法泛化能力（在SyntaxGym上最高提升10.3%）和语言理解能力（在GLUE上最高提升8.2%）。

论文提出了GiLT（Graph-Infused Layers Transformer Language Model），它通过在token预测过程中增量构建的依存图特征来调整注意力权重，从而改善句法泛化能力，在保持竞争性困惑度的同时超越基线模型。