token-embedding

本文介绍了 TIDE，一种通过嵌入记忆（Embedding Memory）将令牌身份注入每一层，从而解决大语言模型（LLM）中罕见令牌问题和上下文崩溃问题的方法。作者在理论上和经验上证明了该方法在语言建模和下游任务中的改进。