标签
本文提出了 CABS+，一种增强的模型合并方法，利用冲突感知稀疏化和自适应权重分配来提高多任务模型合并的效率和性能，在 27 个数据集上相较于先前方法取得了显著提升。
LoRA-Diffusion 提出了一种针对扩散语言模型的参数高效微调方法，通过对去噪轨迹而非模型权重进行低秩分解，仅使用 1.2% 的轨迹适配器参数即可获得具有竞争力的性能。
一篇论文介绍了 TC-LeWM，将 SIGReg 和 VISReg 等正则化损失应用于时间潜在残差，使 LeWM 能够进行多任务学习，显著提高了 LIBERO 机械臂基准上的成功率。
提出了一种用于儿童语音音素识别的年龄感知多任务学习方法，使轻量级94M参数模型能够超越更大的模型，并在手机等边缘设备上运行。
本文提出TdSciNER，一种类型驱动的多任务学习方法，利用LLMs通过过滤实体类型、添加辅助类型分类任务和使用示范选择策略来改进科学命名实体识别。在三个数据集上的实验表明，其性能可与全监督模型相媲美。
本文介绍了MiGHT-EHR，一种针对异质时序EHR数据的多任务图变换器，联合建模临床实体、时间轨迹和任务依赖。在MIMIC-III和MIMIC-IV上，它在药物推荐、住院时长、死亡率和再入院预测方面均优于现有最先进方法。
本文介绍了 NTDH，一个面向全面情感分析的复杂推理框架，它统一了情感和情绪预测任务。在 Qwen3-8B 上使用 SFT 和 GRPO 进行训练，在 SemEval-2018 EI-reg 上取得了强劲的结果，皮尔逊相关系数为 0.862。
本文提出了DKG-MTI，一种双知识图谱框架，通过结构感知的知识对齐增强基于大语言模型的推理，以联合预测方面评分并从在线旅游评论中生成用户意图陈述。
This paper establishes theoretical bounds on the number of attention heads needed to produce vector representations that support multiple tasks, such as computing min/max and XOR, showing trade-offs between head count, embedding dimension, and precision.
本文进行了理论与实证分析，表明SFT在多任务LLM训练中存在任务冲突，而RL能够实现稳定共存，并提出Parallel-RL范式以实现高效的多任务训练。
本文介绍了Customer-Based Multi-task Transformer (CBMT)模型，该模型通过联合预测客户获取、重复购买和平均订单价值来预测收入。它声称相较于现有基准具有更高的预测准确性，并分析了协调预测的适用时机。
本文介绍了V2N，这是首个完整的视觉钢琴转录系统，可联合从视频中预测起音、释音、按键保持和力度，在PianoVAM和R3基准上取得了最先进的结果。
SkillRise 是一个统一的强化学习框架，使 LLM 智能体能够在相关且渐进难度的任务中学习并重用技能，在多个基准测试上比基线方法高出最多 8.5 个百分点。
LithoFormer是一个基于Seq2Seq Transformer的框架，用于从测井数据中进行地层推断。它采用PatchTST主干网络，结合旋转位置编码和多任务头，共同预测地质分带和边界，实现了边界误差降低90%，并消除了地层顺序违反。
本文介绍了诊断证据网络（DENet），一个多任务框架，它将基于AI的轴承故障诊断扩展为生成物理可验证的证据，例如预测的特征频率和脉冲的时间定位，同时使用QLoRA适配的语言模型生成受限的诊断报告，以减少幻觉内容。
提出RoSIP-Batt，一种物理引导的多任务变换器，用于联合估计电池健康状态和剩余使用寿命，在NASA、MIT-Stanford和HUST数据集上实现了最先进的精度。
PromptSD 是一种新颖的在线策略自蒸馏方法，其中教师仅通过一个可学习的软提示与学生不同，从而能够在不产生权重漂移的情况下吸收多任务知识。它在四个任务上匹配或超过完全微调，同时保留通用能力。
本文证明了在滑动窗口序列上使用简单的训练/测试分割会严重夸大或缩小预测性维护中多任务学习的性能指标，并提出了一种泄漏鲁棒的评估协议。
CardioMeta是一个校准的多任务框架，用于在NHANES和MIMIC-IV数据上联合预测糖尿病、高血压和心血管疾病，强调泄漏控制、校准和透明可靠性。
本文挑战了关于模型合并中领域专家应训练至最优验证损失的常见假设，表明最优训练时长在很大程度上取决于合并方法。简单平均法会因过拟合而性能下降，而基于稀疏化的方法则能从超出最优点的训练中获益。研究建议训练时长与合并方法应联合选择。