shanghaitech

论文提出了GiLT（Graph-Infused Layers Transformer Language Model），它通过在token预测过程中增量构建的依存图特征来调整注意力权重，从而改善句法泛化能力，在保持竞争性困惑度的同时超越基线模型。