标签
SMAT 引入了一种简单高效的合并感知训练方法，该方法联合优化专家损失和模拟合并参数处的预期损失，以最小的计算开销提升合并模型的性能。
本文研究合并混合专家大语言模型中的路由漂移是否表明故障，并提出了路由分析工具包和Selective Router Repair方法用于评估。
本文研究了针对客户支持大语言模型的微调策略，比较了在多个模型家族中的多任务训练、顺序更新和模型合并。研究得出结论，多任务全量微调是最稳健的默认选择，而专业模型在任务外性能下降，并且需要可靠的路由。
本文介绍了ACLArena，这是一个用于评估多阶段后训练中智能体持续学习的框架，分析了遗忘和泛化机制，并提出了使用离线重放和LoRA专家的改进ACL方案。
CoMerge是一个基于冲突驱动的偏好优化框架，用于合并多任务LLMs，采用自监督策略来减轻参数干扰，并在如MergeBench等基准测试中实现高性能。
本文介绍了Net Utility，一种用于预算感知LoRA合并的无数据度量，它优化跨任务的秩分配，在视觉任务上实现+2.1%的改进，在语言任务上实现+2.2%的改进，优于均匀方法。
该论文研究了融合差分隐私任务模型时遇到的几何挑战，并提出了DP-Merging框架，在维持隐私保障的同时增强了模型的可融合性。
本文揭示了即使在组成模型安全对齐的情况下，模型合并中存在的越狱风险，并提出了 Basin-Aware Jailbreak (BAJ)，用于在合并模型家族中生成可转移的对抗性后缀。
GRIP提出了一种奖励引导的参数插值框架，通过融合推理与指令模型，在不重新训练的情况下改善大语言模型推理的准确率与效率权衡。
CORAM 提出了一种用于模型合并的一致正交旋转方法，该方法将权重矩阵分割为行切片，在基础模型的帧中使用奇异值分解（SVD），并在流形上合并更新，以提高现有技术的准确性。
本文提出激活-剪枝-合并（APM），一个无训练的跨尺度融合框架，通过使用更大的供体模型来改进较小的语言模型，无需语义对齐，在多个基准测试中取得了性能提升。
本文提出了 CABS+，一种增强的模型合并方法，利用冲突感知稀疏化和自适应权重分配来提高多任务模型合并的效率和性能，在 27 个数据集上相较于先前方法取得了显著提升。
HyperFix 提出了一种轻量级超网络，用于预测不同任务子集上任务向量合并的非线性校正，降低了每个子集的调参成本，并优于现有方法。
本文介绍了 Capek 0.5，一个以执行能力分类法为核心的具身视觉-语言模型，通过强化学习进行专家训练，随后采用权重空间融合和路由策略空间蒸馏。它提出了一个新的状态验证基准，并在2B和35B-A3B规模上展示了在具身和通用能力上的强劲性能。
介绍了AgentPatch，一种无需训练的从粗到精修复框架，用于合并智能体多模态大语言模型，解决了非对称能力保持和行为关键遗忘问题。
一个采用融合架构的新型sub-6B稀疏激活AI模型，结合了LFM2.5-2.6B和Qwen3.6-35B-A3B的权重，以极小的尺寸实现了接近Qwen3.6-35B的性能。
介绍了B1ade，一种极简RAG架构，包含一个335M零训练嵌入模型和一个通过GRPO在723M tokens上训练的1B小型语言模型，展示了涌现归因行为，无需大规模预训练即可获得具有竞争力的问答性能。
本文介绍了SkillSmith，这是一种增强型LLM，能够对前缀权重和文本知识进行推理，从而实现指令引导的新参数化技能合成，其性能优于仅文本和仅权重的基线方法。
Liquid AI的后训练主管解释了如何使用LFM2.5、on-policy偏好对齐、智能体RL、课程训练和迭代模型合并，在20分钟内构建一个小于1GB的设备端模型，其工具调用可靠性超越了更大的模型。