标签
本文提出FrameFT，一种参数高效的微调方法，使用Fusion Frame基中的稀疏系数，在减少内存占用的同时，达到或超过最先进的PEFT技术的性能。
LongAct 提出了一种显著性引导的稀疏更新策略，通过选择性更新与查询和键向量中高幅值激活相关的权重来改进 LLMs 的长上下文推理能力，在 LongBench v2 上实现了约 8% 的提升。