标签
HierBias提出了一种层次化的上下文条件模型用于媒体偏见检测，利用文档上下文改进句子级分类，在BABE和BASIL数据集上达到了最先进的F1和MCC分数。
本文介绍了LDM-v0，一个在来自数千个多样强化学习环境的轨迹上离线训练的大决策模型，证明了单一的Transformer策略可以在机器人、自动驾驶、库存管理、网络安全、交易和视频游戏等领域匹配特定任务策略的性能。
SURGeLLM 引入了一个统一的Transformer框架，包含精细化特征门控、任务条件前缀标记和实例加权归一化，以解决多任务学习中的归纳偏差不匹配、类别不平衡和词汇知识注入问题，在四个不同的NLP任务上取得了显著提升。
本文识别了物理信息神经网络（PINNs）中一种由容量引起的失效模式，其中过参数化网络发展出功能模块化，阻碍收敛，并提出模块稀疏同步（ModSync）框架，该框架惩罚任务专用连接以保持跨目标交互，并达到最先进的精度。
本文识别了预训练模型中的“承重墙”维度，这些维度保留了模型合并中任务向量未完全捕获的任务特定知识，并提出了PACT（PreserveAnchoredCores）来保留这些核心，在多个基准测试中实现了最先进的性能。
OneRank提出了一种原生Transformer的多任务排序框架，该框架将特征编码与预测相结合，以减少任务间干扰并提升推荐系统中的排序性能。
本文提出了一种用于分子图变换器的概率对比预训练框架，以改善药物发现中的多任务ADME性质预测，在三个基准上取得了显著提升。
本文介绍了World-Language-Action（WLA）模型，这是一种具身基础模型，能够从文本、图像和机器人状态中联合预测文本子任务、子目标图像和机器人动作，在模拟和真实环境中实现了最先进的多任务与长周期学习能力。
提出了 MechRL，一种利用强化学习自动发现 transformer 语言模型中电路的方案。经过多任务训练的 PPO 代理发现了与已知典型电路匹配的注意力头电路，并能泛化到一项保留任务上。
本文为物理信息机器学习开发了一种PAC-Bayesian框架，为无界损失提供了高概率泛化保证。它提出了一种多任务视角，联合处理数据保真度、偏微分方程残差和边界条件，并引入了一种自界限学习算法。
本文提出了一种结合认知评价理论的 Task-Routed Mixture-of-Experts 模型用于隐式情感分析，通过引入辅助任务来改善从上下文中推理情感的能力，并优于现有方法。
本文介绍了一种干扰感知的多任务机器遗忘框架，通过任务感知的梯度投影和实例级别的梯度正交化来解决任务级和实例级干扰，在多任务计算机视觉基准上实现了有效的遗忘。
本文提出对Transformer编码器进行端到端微调，用于多项选择阅读理解项目的无响应项目难度建模，包括组件变体和多任务变体，表明多任务学习在小样本情况下有所改进。
PEML提出了一种参数高效的多任务学习方法，通过低秩自适应共同优化连续提示和模型权重。在多个基准测试上，平均准确率提升高达6.67%。
介绍贝叶斯模型合并（BMM），这是一个即插即用的双层优化框架，用于将多个任务特定的专家模型合并为一个单一模型，在视觉和语言基准测试上实现了最先进的性能。
本文提出了一种统一的对比学习框架，用于跨多个抽象层级（节点、邻近性、簇、图）学习图表示，并引入了一种无需参数的自适应加权机制，能够自适应地为相似度分数分配权重，在分类、聚类和链接预测等下游任务上优于现有最先进方法。
微软研究院宣布了MatterSim的更新，包括MatterSim-MT，这是一个用于材料表征的多任务基础模型，更快的模拟（速度提升3-5倍），以及一种新材料热导率预测的实验验证。
本文介绍了MELD，这是一种用于AI生成文本的检测器，它通过使用辅助头进行多任务学习（涵盖生成器家族、攻击类型和源域）来提高鲁棒性。MELD在RAID基准测试中表现出色，并在对抗攻击下保持低误报率。
本文提出Badit方法，将大语言模型参数分解为正交的高奇异值LoRA专家，以在多任务指令微调中缓解跨任务干扰。
APEX 是一个大规模的 multi-task learning 框架，利用冻结的音频嵌入来预测 AI 生成音乐的流行度和美学质量。该模型通过联合预测参与度信号和感知质量维度，在不同的生成架构上展现出了强大的泛化能力。