标签
FedSEAM 提出一种联邦持续学习框架，通过子空间专家共识合并（SEAM）在客户端之间选择性共享稀疏专家知识，缓解路由漂移与合并擦除导致的灾难性遗忘，并在 TRACE 基准上使用 Qwen3-4B 和 Llama-3.2-3B 进行了评估。
本文提出了误差子空间校准（ESCal），这是一种模型合并后校准框架，通过专家模型与合并模型之间的权重差异识别低维误差子空间，并利用轻量级桥接模块恢复特定任务的行为。在视觉和自然语言理解基准上的实验表明，ESCal 能够在多种架构和合并方法下提升合并模型的性能。
这篇论文介绍了苏黎世联邦理工学院提出的“All-in-One”可组合攻击框架。该框架通过将量化、剪枝或模型合并等部署阶段的变换近似为权重扰动，并在单一训练目标中对其进行联合优化，训练大语言模型，使其能够通过安全检查，却在经历这些变换后表现出恶意行为。
OliviaRossi 发布了 Minimax-h3_Singularity-x-10Eros-Max_PRISM，使用自定义 PRISM 算法（非 mergekit）合并两个 Minimax-H3 Ref2VA 微调模型，包含谱去噪、极坐标测地线插值和符号冲突调解等步骤。
Orange Research 推出了针对沃洛夫语适配的 Qwen 开放权重模型，参数规模从 6 亿到 140 亿不等，采用了指令微调、偏好对齐和模型合并技术。沃洛夫语的使用者约有 2300 万。这些模型在沃洛夫语任务上的表现可与规模大得多的商业系统媲美，目前正在客户服务场景中试点部署，相关数据和模型权重均已公开发布。
论文提出 COMPASS（兼容性评估分数），通过测量局部邻域重叠与范式上限，在对齐或合并之前低成本预测模型对的兼容性，在 72 个跨模态对齐实验和 392 个任务算术合并中与下游成功度高度相关（皮尔逊相关系数分别达 0.91 和 0.70）。
DynamicTune通过闭式线性代数，在约12分钟内将推理能力从更大的教师模型迁移到0.8B模型，全程零反向传播，在ARC-Challenge上达到42.15%的acc_norm，超过了标准2B模型（41.10%）。FP16权重、GGUF文件和GitHub仓库均已开源，并在一块NVIDIA L4上完成了独立基准测试。
论文提出 Adaptive Mutual Distillation (AMD) 框架，通过两个采用不同任务平衡策略的模型进行协同蒸馏，并利用短训练探针和任务级验证分数自适应调整各任务与传输方向的蒸馏权重，在六个基准和三个 LLM 骨干上取得优于 SFT 与现有任务平衡方法的效果，合并后平均提升 2.91 分。
SMAT 引入了一种简单高效的合并感知训练方法，该方法联合优化专家损失和模拟合并参数处的预期损失，以最小的计算开销提升合并模型的性能。
本文研究合并混合专家大语言模型中的路由漂移是否表明故障，并提出了路由分析工具包和Selective Router Repair方法用于评估。
本文研究了针对客户支持大语言模型的微调策略，比较了在多个模型家族中的多任务训练、顺序更新和模型合并。研究得出结论，多任务全量微调是最稳健的默认选择，而专业模型在任务外性能下降，并且需要可靠的路由。
本文介绍了ACLArena，这是一个用于评估多阶段后训练中智能体持续学习的框架，分析了遗忘和泛化机制，并提出了使用离线重放和LoRA专家的改进ACL方案。
CoMerge是一个基于冲突驱动的偏好优化框架，用于合并多任务LLMs，采用自监督策略来减轻参数干扰，并在如MergeBench等基准测试中实现高性能。
本文介绍了Net Utility，一种用于预算感知LoRA合并的无数据度量，它优化跨任务的秩分配，在视觉任务上实现+2.1%的改进，在语言任务上实现+2.2%的改进，优于均匀方法。
该论文研究了融合差分隐私任务模型时遇到的几何挑战，并提出了DP-Merging框架，在维持隐私保障的同时增强了模型的可融合性。
本文揭示了即使在组成模型安全对齐的情况下，模型合并中存在的越狱风险，并提出了 Basin-Aware Jailbreak (BAJ)，用于在合并模型家族中生成可转移的对抗性后缀。
GRIP提出了一种奖励引导的参数插值框架，通过融合推理与指令模型，在不重新训练的情况下改善大语言模型推理的准确率与效率权衡。
CORAM 提出了一种用于模型合并的一致正交旋转方法，该方法将权重矩阵分割为行切片，在基础模型的帧中使用奇异值分解（SVD），并在流形上合并更新，以提高现有技术的准确性。
本文提出激活-剪枝-合并（APM），一个无训练的跨尺度融合框架，通过使用更大的供体模型来改进较小的语言模型，无需语义对齐，在多个基准测试中取得了性能提升。