associative-recall

本文介绍了通用三重潜在循环模型，该模型将令牌对交互压缩为潜在状态，并提出一种改进精确召回的门控关联检索变体。该混合模型在字节级WikiText-2和分词语言基准上优于Transformer，实现了高达41.9%的关联召回率（对比25%）。