n-gram-memory

标签

Cards List
#n-gram-memory

Qwengram-0.8B:我将Qwen3.8 Flash-Next的n-gram记忆转移到了Qwen3.5-0.8B——验证困惑度降低了5.05%

Reddit r/LocalLLaMA ↗ · 2天前

作者将预训练的PLE n-gram记忆从Qwen3.8-Flash-Next转移到Qwen3.5-0.8B,在不微调骨干网络的情况下,验证困惑度降低了5.05%。主要发现包括动态门控和阅读器训练在记忆注入方面的有效性。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈