knowledge-reuse

本文研究了跨模型记忆转移，证明了目标端读取器适配对于在不同大型语言模型间使用冻结记忆表至关重要。它介绍了可重用知识工件的方法，并支持可选适配以改善对齐。

ReLoRA是一个知识复用的适应框架，能够高效恢复面向不断演进的LLM服务的、可投入使用的LoRA适配器。通过自适应初始化和计划正则化，它可将准备时间缩短最多8.9倍，并将准确率提升最高4.6%。