标签
本文提出SimpleOPD方法，实现了从长上下文推理教师模型到短上下文学生模型的在职蒸馏。该方法通过解决分词器不匹配与训练不稳定问题，有效提升了数学推理能力。
This paper proposes a tokenizer-agnostic modification to DeepSeek's Engram conditional memory module, replacing XOR-based n-gram hashing with polynomial hashing to enable compatibility across different tokenizers while maintaining comparable performance.
本文提出字节级蒸馏（BLD），一种简单的跨分词器知识迁移方法，通过在共享的字节级接口上操作，在1B-8B参数模型上实现了与更复杂现有方法相当或更优的性能。