attention-routing

介绍了一种数据自适应的高效微调方法——Queryable LoRA，它利用共享的低秩更新原子记忆，结合基于注意力的路由和指令正则化，实现动态、上下文敏感的参数更新，同时保持可扩展性。