标签
RTL-Interact 是一种多任务后训练框架,用于训练单个专精于 RTL 的大语言模型,使其能够生成 RTL、构建 EDA 检查并利用工具反馈修改设计,同时结合模式感知策略优化(PAPO)进行多任务强化学习。在 CVDP 上,RTL-Interact-32B 的加权 Pass@1 达到 48.7%,Pass@5 达到 68.9%(超越 DeepSeek-V3.2),而 PAPO 将平均工具调用次数减少了 63.8%,且这些模型在 VerilogEval v2 和 RTLLM v2 上的表现优于专精于 RTL 的基线模型。
该论文提出了 AICG,一种具备 AI 感知能力、受认知监督的双分支框架,用于自动评阅数学简答题。该框架将基于 RoBERTa 的评分、Q 矩阵技能预测与生成式 AI 检测器相结合,对不可靠的作答进行加权处理。与 RoBERTa 回归模型相比,其平均绝对误差(MAE)降低了 50.3%,二次加权 Kappa(QWK)从 0.798 提升至 0.927。
该论文提出了 MOSAIC,一种采用模态间交叉注意力和按模态划分的梯度路由的模态分离架构。与基于融合的基线模型相比,该架构在 CEJC 语料库的四项任务上将平均宏观 F1 分数提高了 7.4 个百分点,同时将骨干网络参数量减少了 72%。
CONCUR 提出了一种新的优势估计器,用于大语言模型的多任务、多奖励强化学习训练。该估计器将经过门控的辅助奖励投影为与主要奖励一致的分数,在三个模型上的数学、代码、指令遵循和写作任务中均优于基线方法。
本文提出了误差子空间校准(ESCal),这是一种模型合并后校准框架,通过专家模型与合并模型之间的权重差异识别低维误差子空间,并利用轻量级桥接模块恢复特定任务的行为。在视觉和自然语言理解基准上的实验表明,ESCal 能够在多种架构和合并方法下提升合并模型的性能。
WeVisOne-VL (WeChat Vision All-in-One) 是一个统一对象级与像素级视觉感知的视觉语言模型,通过结构化 token 预测与轻量像素解码器支持检测、定位、计数、OCR、分割和抠像等任务,在30多个基准上取得领先性能,并已开源 2B/4B 模型。
本文提出 EA-SURF,一种在训练过程中自适应调节标量化权重的先验方法,使多任务语音大模型能够沿帕累托前沿收敛至用户指定的任务偏好。在语音识别、时间戳预测和语音翻译任务上,相比固定损失加权方法,该方法将归一化超体积提升了 17.8%。
VX-One 是一个小型多任务神经网络,输出带类型且经过温度校准的决策基元(校准门控、含显式未知选项的闭集选择、序数分数),用于实时边界流量分诊。论文在 UNSW-NB15、CIC-IDS2017、EMBER2024 上评测其与签名引擎的两阶段级联表现,发现其在时漂移下检测占优,但校准会崩溃且未知攻击拒识能力跨基准迁移性差。
研究人员提出BioBigBird,一个基于稀疏注意力机制、可处理最长4096 token的双向生物医学预训练语言模型,并通过多任务学习联合优化命名实体识别(NER)和关系抽取,在BLURB基准上取得了具有竞争力的结果。
论文提出 JIVEAdapter,这是一种受统计学中的 Joint and Individual Variation Explained(JIVE,联合与独立变异分解)启发的多任务加性低秩适配器,将权重更新分解为跨任务共享的 Joint(联合)结构和任务专属且近正交的 Individual(独立)结构,并在 GLUE/SuperGLUE 基准上以 DeBERTaV3-base 取得了具有竞争力的表现。
本文提出 Hebero,一个基于 GPU 并行 Isaac Lab 的异构多任务机器人操作基准,以及演示引导策略优化方法 DGPO(含 IW-ABC),在 40 项任务上以 50 条演示/任务达到 90.1% 状态输入平均成功率,超越 FAMO-ABC 7.8 个百分点,并在真实 Piper 机器人上验证了单一多任务策略的迁移能力。
Maxime Labonne 指出,一个模型能够同时并行游玩多款游戏,这表明 AI 的进展已经远远超出了文本生成的范畴,对视频游戏行业意义重大。
论文提出 Adaptive Mutual Distillation (AMD) 框架,通过两个采用不同任务平衡策略的模型进行协同蒸馏,并利用短训练探针和任务级验证分数自适应调整各任务与传输方向的蒸馏权重,在六个基准和三个 LLM 骨干上取得优于 SFT 与现有任务平衡方法的效果,合并后平均提升 2.91 分。
提出一种自进化 agent harness 框架:同一个冻结模型先作为 solver 求解任务,再作为 proposer 直接编辑自身 harness 的代码;在多任务上完成进化后,于分布外基准上显著超越 Codex(提升 12.64 分)并达到相当的表现水平。
本文提出了 EN-HMTFL,一种面向车载自组织网络(VANETs)的编码器共享分层多任务联邦学习框架。该框架允许车辆通过共享编码器协作训练异构感知任务,同时将任务特定的解码器保留在本地,从而将准确率提升高达 24%,并将通信轮次减少多达 28.8%。
本文研究了视觉生成监督如何提升视觉理解能力,引入了OmniTaskonomy作为统一分类法,以分析任务相关的益处并指导训练课程。
本文提出了Marathoner,一个用于超长时间范围执行的自主代理模型,使用一个全面的后训练管道,任务从GitHub PR合成,并采用一种新颖的奖励策略,以在基准测试中实现卓越性能。
DuoOPD 论文提出一种新的多任务在线策略蒸馏方法,利用教师-学生的联合结果来决定反馈方向与教师支持方式,在 Qwen3 和 Llama 上相比标准 OPD 平均宏准确率提升 2.58 和 5.98 个百分点。
本文提出一种框架,通过近似联合标签分布来学习多任务模型中的跨任务关系,并通过迁移学习提升YouTube推荐系统的性能。
AI在表情识别、目标检测和手指计数方面的能力实现了低于1秒的延迟,突出了显著的实时性能提升。