n-grams

本文提出了 COUNT（Counting Offline Unlocks N-gram Transformers），该方法利用存储在主机内存中的预计算计数来构建 N-gram 嵌入，无需可学习参数，从而改善了十亿参数级语言模型的验证损失，并实现了推理时的免训练领域适配。

Lngram v2 为 Transformer 引入了一种高效且可扩展的潜在条件记忆机制，将记忆容量与骨干宽度解耦，并通过离散地址和结构化表示在视觉-语言模型中展示了一致的改进。

本文使用n-gram分布分析LLM生成文本中的统计模式，揭示了其风格缺陷，并表明风格与语义不可分离。

本文研究了在马尔可夫链上训练的Transformer，发现归纳头实现了软上下文匹配和狄利克雷风格平滑，表明Transformer对上下文内估计进行正则化，而不是简单地统计n-gram。